Automatisierte Akzeptanztests für Bankapplikationen

Transkript

1 Automatisierte Akzeptanztests für Bankapplikationen 24. Nov Franz Hofer Group and Austrian IT Software Engineering

2 Raiffeisen Bank International AG (RBI) 535 Raiffeisenbanken (insgesamt > Geschäftsstellen) 8 Raiffeisen-Landesbanken und sonstige Aktionäre Halten die Mehrheit an der RZB Hält die Mehrheit an der RBI Streubesitz: 21,5 Prozent Eine führende Corporate- und Investment-Bank für die Top Kunden in Österreich Eine führende Universalbank in CEE mit dem größten Bankstellennetz Automatisierte Akzeptanztests für Bankapplikationen November 2012 Seite Nr. 2

3 Herausforderungen in agilen Projekten Seite Nr. 3

4 Agile Softwareentwicklung wird in der RBI seit zwei Jahren pilotiert Problem Analysis Project Management Process- or Oranizational Projects IT Projects Prestudy Six Sigma Inhouse Development Standardsoftware Selection Standardsoftware Implementation Softskills Roles Automatisierte Akzeptanztests für Bankapplikationen November 2012 Seite Nr. 4

5 Agile Methodik hält ihre Versprechen Zahlen aus abgeschlossenen Pilotprojekten (Personentage): P1 P2 P3 Estimated effort Booked effort New features Cancelled features, Simplifications Kundenzufriedenheit wesentlich erhöht Verbesserte Zusammenarbeit mit dem Kunden Mehr Flexibilität im Bezug auf Änderungen Kundenbedürfnisse werden besser getroffen Hohe Team Zufriedenheit und Motivation Hohe Softwarequalität von Beginn an Potentiell auslieferbares Produkt nach jedem Sprint Verbessertes Risikomanagement im Bezug auf Zeit und Budget Visuelles Projektmanagement bietet eine permanente und transparentes Fortschrittsüberwachung Hohe Transparenz der IT gegenüber Business Automatisierte Akzeptanztests für Bankapplikationen November 2012 Seite Nr. 5

6 Herausforderungen bei agilen Projekten Anpassung der Analysemethodik Usecases sind meistens zu groß für Implementierung in einem Sprint User Stories statt Usecases Detailspezifikationen durch Formulierung von Akzeptanzkriterien Verstärkter Bedarf nach Regressionstests Durch Schneiden der Anforderungen in User Stories wird im Zuge der Umsetzung vorhandener Code öfters verändert als bei nicht-agilem Vorgehen Unausgewogene Auslastung der Tester Bei manuellen Tests fallen die meisten Testtasks erst gegen Ende des Sprint an In den Pilotprojekten teilweise Leerläufe der Tester am Beginn des Sprints und massive Überlastung am Ende Automatisierte Akzeptanztests für Bankapplikationen November 2012 Seite Nr. 6

7 Höhere Testaufwände in agilen Projekten bei manuellem Test Agiles RBI Projekt mit manuellem Test Gesamtaufwand (PT) Testaufwand (PT) Geschätzt Verbraucht Geschätzt Verbraucht (15 %) 55 (35 %) In nicht-agilen Projekten erfolgt das Testen in eigenen Testphasen Geringerer Bedarf an Regressionstests Volle Auslastung der Tester während der Testphasen In agilen Projekten scheinen die Testaufwände zu steigen 2-wöchentliche Lieferung erfordert umfangreiche Regressionstests Tester sind ungleichmäßig ausgelastet (Leerläufe verursachen Kosten) Die Lösung ist Testautomatisierung Das Schreiben und das Durchführen eines manuellen Testfalls erfordert den gleichen Aufwand wie das Erstellen eines automatisierten Testfalls Automatisierte Akzeptanztests für Bankapplikationen November 2012 Seite Nr. 7

8 Automatisierter Test von Akzeptanzkriterien durch Team und manueller User Acceptance Test durch Anwender Anwender Manueller User Acceptance Test (UAT) Deployed to Test Environment Potentially shippable Product Feedback (Changes, Defects) Automatisierter Regressionstest Product Owner Automatisierter Regressionstest User Stories + Acceptance Criteria Potentially shippable Product User Stories + Acceptance Criteria Potentially shippable Product User Stories + Acceptance Criteria Sprint n Sprint n+1 Sprint n+2 Team Automatisierte Akzeptanztests für Bankapplikationen November 2012 Seite Nr. 8

9 Automatisierbarkeit Testautomatisierung ist auf Unit Ebene einfacher als auf User Interface Ebene Wenig automatisierte Testfälle explorative Testing schwer UI and Flows System Business Logic Component Units Class, Method, Job,.. Viele automatsierte Testfälle leicht nach Mike Cohn Automatisierte Akzeptanztests für Bankapplikationen November 2012 Seite Nr. 9

10 GUI Recording erfüllt nicht die Anforderungen für Testautomatisierung in agilen Projekten Hoher Wartungsaufwand Schlechte Lesbarkeit der Scripts Abbildung manueller Testfälle Automatisierung ist erst nach der Implementierung möglich Unausgewogene Auslastung der Tester // Go to web page ' using new browser instance BrowserWindow localhostbrowser = BrowserWindow.Launch( new System.Uri(this.RecordedMethod1Params.Url)); // Click 'Register found item' link Mouse.Click(uIFundstückerfassenHyperlink, new Point(56, 9)); // Click 'Save' button Mouse.Click(uISpeichernButton, new Point(44, 14)); int fundnr1 = int.parse(uifundnr127pane.innertext.substring(9)); // Click 'Register found item' link Mouse.Click(uIFundstückerfassenHyperlink, new Point(63, 7)); Automatisierte Akzeptanztests für Bankapplikationen November 2012 Seite Nr. 10

11 Akzeptanzkriterien werden als lesbare, automatisierte Testfälle beschrieben User Story: Als Risk Manager möchte ich Kunden einer Gruppe zuordnen können damit ich eine Risikobewertung auf Gruppenebene durchführen kann Angenommen die Gruppe enthält einen Kunden Wenn ich einen Kunden zur Gruppe hinzufüge Dann sind zwei Kunden in der Gruppe enthalten arrange act assert Automatisierte Akzeptanztests für Bankapplikationen November 2012 Seite Nr. 11

12 JBehave ist ein Framework zur Erstellung lesbarer Testfälle und zur automatisierten Ausführung 1. Testfälle (Skripte) in einer projektspezifischen Sprache schreiben Testskripte werden zusammen mit dem Sourcecode in einem Repository verwaltet 2. Sprachelemente an die Applikation binden 3. Skripte zur automatischen Ausführung konfigurieren 4. Testfälle automatisch ausführen Bei Datengetriebenen Applikationen kleine Datenmengen für kurze Durchlaufzeiten, keine Massendaten Start aus der Entwicklungsumgebung 5. Berichte auswerten Berichte werden zusammen mit den Skripts verwaltet Automatisierte Akzeptanztests für Bankapplikationen November 2012 Seite Nr. 12

13 Erste Erfahrungen Seite Nr. 13

14 3 Pilotprojekte mit JBehave 2 agile Projekte zur Entwicklung von Web Applikationen Ca. 80 % der User Stories werden automatisiert getestet 1 Datawarehouse Projekt (nicht agil) Automatisierte Entwicklertests für Basisframework (100 %) Ansätze für Automatisierung bei fachlichen Tests Automatisierte Akzeptanztests für Bankapplikationen November 2012 Seite Nr. 14

15 Eine größere Finanz-Applikation wurde als Pilot für agiles Vorgehen und Testautomatisierung ausgewählt Vision: Effiziente Analyse und Bewertung von Finanzinstitutionen Lösung: Entwicklung einer Web Applikation auf Basis des Raiffeisen Service Frameworks (RSFX) Budget: ca. 540 PT Zeit: Jan Sep Rollen: Product Owner (+ 1 Business Analyst) Scrum Master Verteiltes Team (Wien, Budapest), 4 Entwickler und 1 Tester Automatisierte Akzeptanztests für Bankapplikationen November 2012 Seite Nr. 15

16 Beispiel Testfall aus Pilotprojekt Testfälle sind unabhängig Reihenfolge der Ausführung beliebig Script enthält pro Testfall Vorbereitung (Given) Durchführung (When) Überprüfung (Then) Scenario: Create a connection with two customer entites Given the following customers: ID SOURCE NAME1 CTR 101 MANUAL MANUAL CUST 20 AT 102 FITCH FITCH CUST 04 AT And the basket is empty When the user searches for customers with Country of Residence AT - AUSTRIA And the user adds customer MANUAL CUST 20 to the basket And the user adds customer FITCH CUST 04 to the basket And the user selects FITCH CUST 04 as main customer And the user submits the basket Then the basket is empty And the search hitlist displays the message Kundenverknüpfung wurde erfolgreich gespeichert! Automatisierte Akzeptanztests für Bankapplikationen November 2012 Seite Nr. 16

17 Architektur des Raiffeisen Service Framework (RSFX) unterstützt Testautomatisierung Normal Automatisierter Testlauf Für den automatisierten GUI Test werden Browser spezifische Komponenten durch Mocks ersetzt Mocks sind für alle vom Framework angebotenen GUI Controls verfügbar Business- und GUI-Logik kann komplett automatisiert durchgetestet werden Zusätzlich explorative Tests und Spezialtests (z.b. Browserkompatibilität) Automatisierte Akzeptanztests für Bankapplikationen November 2012 Seite Nr. 17

18 Tester erstellen JBehave Scripts zum automatisierten Test der Akzeptanzkriterien Schrittweise Einführung von Specification-by-Example Zu Beginn werde JBehave Scripts auf Basis schriftlicher Spezifikationen (vom Product Owner geliefert) erstellt Mit zunehmender Erfahrung werden die Test Scripts bereits in der Sprint Planung gemeinsam mit dem Product Owner formuliert Aufgabenteilung Tester erstellt die JBehave Scripts Entwickler oder Tester (mit Java Skills) erstellt das Binding an die Applikation Inhalt der JBehave Scripts Testfälle, die Akzeptanzkriterien beschreiben (hohe Abstraktionsebene) Testfallvarianten für hohe Testabdeckung Automatisierte Akzeptanztests für Bankapplikationen November 2012 Seite Nr. 19

19 Reduktion des Testaufwands durch Automatisierung bei agilen Projekten gegenüber manuellem Test Gesamtaufwand (PT) Testaufwand (PT) Geschätzt Verbraucht Geschätzt Verbraucht Agiles Projekt mit manuellem Test Pilotprojekt 1 mit Testautomatisierung Pilotprojekt 2 mit Testautomatisierung (15 %) 55 (35 %) (16 %) 129 (24 %) (15 %) 101 (25 %) Automatisierte Akzeptanztests für Bankapplikationen November 2012 Seite Nr. 20

20 Agiles Vorgehen und Testautomatisierung ist eine Win-Win Situation Bessere Einbindung der Tester in den Entwicklungsprozess Verbesserung der Kommunikation zwischen Product Owner, Business Analysten, Entwicklern und Testern Von allen lesbare Test-Stories in einer gemeinsamen Sprache Frühe Klärung unklarer oder mehrdeutiger Anforderungen Hohe Produktqualität durch Regressionstests in jedem Sprint Entwickler berücksichtigen sehr früh die automatisierbare Testbarkeit des Systems Automatisierte Regressionstests fördern die Bereitschaft für Refactoring Automatisierte Akzeptanztests für Bankapplikationen November 2012 Seite Nr. 21

21 Fragen? Seite Nr. 22