Test-Karussell. Automatisierte Qualitätssicherung im Round-Trip. Test-Karussell. Folie November 2006

Transkript

1 Automatisierte Qualitätssicherung im Round-Trip Folie 1

2 Test und Automatisierung Qualitätssicherung schafft (nur) Transparenz und ist aufwändig und teuer Testen kann die Qualität nicht verbessern 40-50% des Projektumfangs gerechtfertigt (Prof. Spillner) Investition in manuelle Durchführung nicht nachhaltig Automatisierung meistens von Entwicklern durchgeführt Kennen die Anwendung, sind ständig verfügbar Brauchen die Transparenz (Debugging) Arbeiten stark Feedback getrieben Entwickler lieben automatisierte Abläufe Automatisierung sollte von Entwicklung ausgehen Folie 2

3 Test und Automatisierung Idee Energie der Entwickler nutzen, um Einzelteile der Qualitätssicherung zusammenzufügen Einzelteile so entkoppeln, dass verschiedene Interessensgruppen ihre Teile übernehmen können Laufende Ausführung des gesamten Komplexes Stetige Transparenz Nachhaltige Investition Folie 3

4 Qualitätszyklus Reporting and Controlling Integration and Configuration Folie 4

5 Ablaufsteuerung Anstoss On Demand : Batch File Zeitgesteuert: Windows Task Bei Änderungen: Cruise Control Ablaufsteuerung Hierarchische Gruppierung der einzelnen Tasks Verschiedene technische Lösungen verfügbar (Batch Files) Ant / NAnt MSBuild <project> <target name="get"> <vssget path="$/sources"... /> </target> <target name="build" depends="get"> <exec program="devenv.exe"> <arg value="helloworld.sln"/> </exec> </target> </project> Folie 5

6 s Änderungen an Quellcode ist Ausgangspunkt Quellcodeverwaltung unabdingbar Enthält alle für die Software benötigten Artefakte (also auch Konfigurationen, Testskripts, Datenbanken ) Laufende Überwachung der basis Build Server für Continuous Integration (Eigenständiger Server oder virtuelle Maschine) Überwacht Source-Verwaltung und startet Round-trip nach jeder Änderung und/oder in jeder Nacht Ursache/Wirkung unmittelbar beieinander Sehr kurze Feedbackzyklen Tools: CruiseControl, Task Scheduler Folie 6

7 Get and Build in sauberer Umgebung Deckt viele Fehler sofort auf Verhindert Probleme beim Zusammenführen der Arbeit verschiedener Entwickler Ermöglicht statische und dynamische -Analysen Erzeugen der spakete (MSI) Immer neuster Build auslieferbar Viele Tools verfügbar Wise InstallShield Windows Installer XML (WiX) toolset Folie 7

8 Automatisiertes Debugging Bringt Gewissheit über Detailfunktionalität Gehört heute zum Standard Tests müssen mit mitwachsen Ausgeprägte Coding Guidelines nötig Dutzende x- Tools verfügbar Sehr einfach in Gesamtablauf zu integrieren Folie 8

9 Integration Umsetzung meist wie Tool Testdaten im Höhere Anforderungen an Testumgebung Message Queues, Datenbanken etc. Bewährte Aufteilung: Tests hinterlassen Umgebung wie angetroffen Integration Tests bauen auf Vorgänger auf (Szenarien) Automatisierung sehr kreativ Meist über Command Line Herstellerspefizische Tools (Bsp. osql für Sql Server) Sollte rückgängig gemacht werden können Folie 9

10 and Configuration Klassisches Configuration Management ist wichtig Komponenten müssen einzeln zusammengeführt werden können Daneben ist die für jede Umgebung unterschiedlich ( Konfiguration ) Andere Verzeichnisse, Benutzer, Passwörter, URLs Verschiedene Fremdsysteme (Test, Produktiv etc.) Lösung: Definition der Eigenheiten an zentraler Stelle Konfiguration der Komponenten während oder nach der Test Produktiv Alle Konfigurationen (Excel) Einzelne Konfigurationen (XML) Folie 10

11 Sehr hohe Anforderungen an Testumgebung Bestimmter zustand muss geschaffen werden Fremdsysteme müssen ferngesteuert werden Lässt sich trotzdem gut automatisieren Benötigt Test Driver, Test Cases, Test Data Viele Tools verfügbar, stark vom Einsatzgebiet abhängig Muss (leider) auch GUIs testen Braucht unbedingt Tool Support Sollte kein simples Record/Replay sein Erfahrungswerte: Automatisierung dauert ungefähr 2x so lang wie manuelle Testspezifikation Bei GUI Tests mindestens 3x! Durch häufige Ausführung Break-even trotzdem schnell erreicht Folie 11

12 Beispielskript für einfachen test <TestCase testname="order Test Case"> <TestExecution> <TestStep typename="soapstep"> <URL> <Service>OrderService</Service> <Method>ProcessOrder</Method> <Message>Order.xml</Message> </TestStep> <TestStep typename="filecomparestep"> <FileName>OrderOutput.xml</FileName> <CompareTo>OrderExpected.xml</CompareTo> </TestStep> </TestExecution> </TestCase> Folie 12 Biz, Microsoft UK Services

13 Stellt wieder in ursprünglichen Zustand Anwendungen entfernen Datenbanken zurückspielen / entfernen Benutzer und Berechtigungen zurücksetzen etc. Teile davon müssen auch zwischen Testläufen durchgeführt werden Image zurückspielen am einfachsten (dauert sehr lange) Wenn gut gemacht ist, wird Deinstallation sehr einfach möglich Folie 13

14 Reporting and Controlling Reporting and Controlling Integration and Configuration Folie 14

15 Nutzen Für Manager: Sehr hohe Transparenz Direkt auslieferbare Software Für Tester: Garantiertes Qualitätsminimum Rahmen für Testautomatisierung Entlastung von Routineaufgaben Für Entwickler: Sofortiges Feedback Keinen Aufwand für Releases Folie 15

16 Fazit Automatisierte Round-Trips sehr einfach möglich Automatisierung bringt Stabilität und Vertrauen Permanente Durchführung des Qualitätszyklus wichtig Kurze Feedbackzyklen schaffen Investition absolut vertretbar Verschiedenste Tools sofort verfügbar Tests werden viel häufiger durchgeführt als gedacht Automatisierung macht Spass! Folie 16