Einführung von Testautomatisierung reflektiert. Erkenntnisse eines Linienmanagers zu Herausforderungen und Fallgruben

Größe: px

Ab Seite anzeigen:

Download "Einführung von Testautomatisierung reflektiert. Erkenntnisse eines Linienmanagers zu Herausforderungen und Fallgruben"

Steffen Koch
vor 8 Jahren
Abrufe

1 Einführung von Testautomatisierung reflektiert Erkenntnisse eines Linienmanagers zu Herausforderungen und Fallgruben Matt Young Leiter Test Acquiring

2 Inhaltsverzeichnis Einleitung Testautomatisierung PostFinance Kartengeld Testorganisation Einsatzbereich Umsetzung «Zehn Regeln für die Testautomatisierung» Erkenntnisse eines Teamleiters... zu Tester... zum Management... zur Projektleitung «... vier zusätzliche Regeln für eine erfolgreiche Testautomatisierung» Seite 2

Testautomatisierung» Erkenntnisse eines Teamleiters... zu Tester.

3 Testautomatisierung PostFinance Kartengeld

4 Testautomatisierung PostFinance Kartengeld Testorganisation Team «Test Acquiring» mit 7 Tester und folgenden Testaufgaben: Testdurchführung = ca. 50% Testfall Erstellung = ca. 20% Testmanagement = ca. 20% Testautomatisierung (Wartung) = ca. 10% Lead Testautomatisierer ist in einem parallelen Team von Testspezialisten Verantwortungen für Testautomatisierung Lead Testautomatisierer : Bereitstellung Tool und Infrastruktur, Kontakt mit Tool Hersteller Team «Test Acquiring» : Erstellung, Durchführung & Wartung der automatisierten Testfälle Seite 4

10% Lead Testautomatisierer ist in einem parallelen Team von Testspezialisten Verantwortungen für Testautomatisierung Lead

5 Testautomatisierung PostFinance Kartengeld Einsatzbereich Wir setzen in der Testautomatisierung primär auf Integri INQ, um den Einsatz von PostFinance Karten an Endgeräten zu simulieren: EFTPOS Terminals Geldautomaten (Postomat) Tankautomaten E-Payment virtuelle Zahlterminals Einsatzbereich Stress- und Performance Tests Integrationstests Systemtests Seite 5

Endgeräten zu simulieren: EFTPOS Terminals Geldautomaten (Postomat) Tankautomaten

6 Testautomatisierung PostFinance Kartengeld Umsetzung Projekt 4 Einbettung in einen definierten Wartungsprozess Optimierung funktionale Tests Projekt 3 Projekt 2 Weiterentwicklung funktionale Tests Weiterentwicklung nichtfunktionale Tests Projekt 1 Einführung Seit 2010 Seite 6

Projekt 3 Projekt 2 Weiterentwicklung funktionale Tests Weiterentwicklung

7 Testautomatisierung PostFinance Kartengeld Zehn Regeln für die Testautomatisierung 1. Spezifikationen für Testobjekt müssen vorhanden sein. 2. Auswahl der Testfälle erfolgt nach definierten Kriterien. 3. Wirtschaftlichkeit steht im Vordergrund. 4. Status von System (Testobjekt) und Daten sind berücksichtigt. 5. Ein klar strukturiertes Datenmodell der automatisierten Tests muss vorhanden sein. 6. Record und Play Methode(n) vermeiden. 7. Prozesse für Pflege, Weiterentwicklung und Change Management sind etabliert. 8. Testautomatisierung ist in der Organisation verankert. 9. Akzeptanz wird aktiv gefördert. 10. Schrittweises Vorgehen. Seite 7

Status von System (Testobjekt) und Daten sind berücksichtigt. 5. Ein klar strukturiertes Datenmodell der automatisierten Tests muss vorhanden sein. 6.

9 zu Tester Veränderungsprozess ist nicht zu unterschätzen. Es braucht Zeit, Verständnis, und Schulungen Coaching «Management by Objectives» Zielvereinbarungen Positive Bestätigung Seite 9

10 zu Tester Setzen wir den Testautomaten optimal ein? Seite 10

11 zu Tester Wir können das Tool zwar bedienen, aber haben wir die notwendigen Skills im Team, um es optimal einzusetzen? Unterschiedliche Skills sind verlangt Manuelle Tests: konkret, fachlich, kundennah Automatisierte Tests: abstrakt, technisch, entwicklernah Im Gegensatz zu Wissensaufbau sind neben Skills auch Eignung und Affinität schwierig zu ändern Erkenntnisse Automatisierungsgrad wird durch die Skills der Tester bestimmt Weiterentwicklung von Testautomatisierung muss Skill Set der Mitarbeiter berücksichtigen Die optimale Nutzung einer Testautomatisierung steht und fällt mit den Tester die den Testautomaten einsetzen müssen Seite 11

Wissensaufbau sind neben Skills auch Eignung und Affinität schwierig zu ändern Erkenntnisse Automatisierungsgrad wird durch die Skills der Tester bestimmt

12 zu Tester Wie ausgeprägt sind die methodischen Ansätze im Testdesign? mit Stärken in folgenden Testaktivitäten (nach ISTQB) können durchaus gute Testergebnisse erzielt werden Planung Realisierung & Durchführung Auswertung & Bericht Abschluss Steuerung Seite 12

13 zu Tester Wie ausgeprägt sind die methodischen Ansätze im Testdesign? mit Stärken in folgenden Testaktivitäten (nach ISTQB) können durchaus gute Testergebnisse erzielt werden Planung Realisierung & Durchführung Auswertung & Bericht Abschluss Steuerung eine erfolgreiche Realisierung von automatisierten Testfällen bedingt jedoch auch Anstrengungen im Testdesign Planung Analyse & Design Realisierung & Durchführung Auswertung & Bericht Abschluss Steuerung Seite 13

Realisierung & Durchführung Auswertung & Bericht Abschluss Steuerung eine erfolgreiche Realisierung von

14 zum Management Ziele aus Projektanträge für Testautomatisierungsprojekte, die dem Management auffallen Auf der bestehenden Regression können pro Test-Woche... fünf Personentage eingespart werden Testzeit Regression optimieren Kostenreduktionspotenzial im Bereich der Regressionstests aufzeigen Der Aufwand für diese Tests ist um 50 Prozent gegenüber den manuellen Tests reduziert und damit das vorhandene Einsparpotenzial genutzt Durch den Einsatz des Tools für die Rückverfolgung von Transaktionen ist dieser Aufwand um über 50 Prozent reduziert Regressionskosten... werden in 3 Jahren um 10% gesenkt Seite 14

.. fünf Personentage eingespart werden Testzeit Regression optimieren Kostenreduktionspotenzial im Bereich der Regressionstests aufzeigen Der Aufwand

15 zum Management Ziele aus Projektanträgen für Testautomatisierungsprojekte, die für das Testing effektiv wichtig sind Produktive Fehler reduzieren Funktionale Testtiefe und Testbreite vergrössern Zentrale Testplattform (erschaffen) Es existiert ein definierter Prozess für die kontinuierliche Weiterführung der Testautomatisierung Automatisierter Regressionstest...(in einem bestimmten Bereich) zur Verbesserung des Umfangs und der Qualität Wartung und Betrieb der Testautomationslösung ist sichergestellt Wissensaufbau... über die Automatisierung von Testfällen und die Testergebnisse aus der Automatisierung Seite 15

Weiterführung der Testautomatisierung Automatisierter Regressionstest.

16 Automatisierunsgrad (%) Erkenntnisse eines Teamleiters zum Management Folglich sind die Erwartungen bezüglich Metriken unterschiedlich Was das Management erwartet 100 Manuelle Testfälle 0 t Seite 16

17 Automatisierunsgrad (%) Erkenntnisse eines Teamleiters zum Management Folglich sind die Erwartungen bezüglich Metriken unterschiedlich Was das Testing ausweist 100 Manuelle Testfälle 0 t Seite 17

18 zum Management...was der Teamleiter präsentieren möchte Anzahl Testfälle auto & manuell Testaufwand Fehler in Produktion t Gestern Heute Morgen Übermorgen Seite 18

19 zum Management...was für den Erfolg unerlässlich ist Anzahl Testfälle auto & manuell Zufriedenheit der Tester t Gestern Heute Morgen Übermorgen Seite 19

20 zur Projektleitung Projektleiter haben keine Freude an späten Anforderungen an die Testautomation Ressourcen OK Finanzierung OK Anforderungsdefinition Allgemeines V-Modell für Softwareentwicklung Abnahmetest Funktionaler Systementwurf Systemtest Ressourcen OK Technischer Systementwurf Integrationstest Ressourcen NOK Finanzierung NOK Finanzierung NOK Komponentenspezifikation Komponententest Programmierung Seite 20

Abnahmetest Funktionaler Systementwurf Systemtest Ressourcen OK Technischer Systementwurf

21 ... vier zusätzliche Regeln für eine erfolgreiche Testautomatisierung 11. Übergang von manuellem zu automatisiertem Testing ist ein gewaltiger Veränderungsprozess. 12. Skill Set der Tester muss berücksichtigt werden. 13. Ziele der Testautomation müssen dem Management korrekt kommuniziert werden. 14. Anforderungen an Testautomation müssen im Anforderungskatalog berücksichtigt sein. Seite 21

22 Vielen Dank für Ihre Aufmerksamkeit

Ähnliche Dokumente

Qualitätssicherung im Lebenszyklus des itcs. Anspruch und Wirklichkeit.

Qualitätssicherung im Lebenszyklus des itcs. Anspruch und Wirklichkeit. BEKA: Frankfurt, 25. Oktober 2012 T-Systems Angebot Umsetzung des globalen Telematikprojekts für den ÖPNV im Großherzogtum Luxemburg.