Testautomatisierung. Whitepaper Coded UI Tests & Rich Information Bugs

Transkript

1 Testautomatisierung Whitepaper Coded UI Tests & Rich Information Bugs

2 Whitepaper Coded UI Tests & Rich Information Bugs Dieses Whitepaper stellt die neuen Möglichkeiten von Visual Studio 2010 im Bereich der Testautomatisierung vor sowie die Neuerungen zum Sammeln von Informationen, um Bugs aufzufinden und reproduzieren zu können. Visual Studio 2010 führt zahlreiche neue Technologien rund um das Thema Testing/Testmanagement sowie der Testautomatisierung ein. Dabei wurde großen Wert auf die Nachbildungsmöglichkeiten von Bugs gelegt, um die Qualität der Software signifikant zu erhöhen und unnötige Aufwände zum Auffinden von Fehlern zu vermeiden. Der Bereich der Testautomatisierung wurde um die sogenannten Coded UI Tests erweitert, um auch Benutzeroberflächen und Steuerelemente in die Testautomatisierung einzubeziehen. Zielgruppe dieses Whitepapers sind Entwickler, Architekten und Projektleiter, die großen Wert auf eine ausgiebig getestete Software legen, um qualitativ hochwertige Produkte zu liefern. Außerdem richtet es sich an alle, für die Testing und Testautomatisierung ein wichtiger Bestandteil der Softwareentwicklung darstellt. 2

3 Testautomatisierung mit Visual Studio 2010 Warum automatisieren? Testen gehört mehr und mehr zu den wichtigsten Aufgaben innerhalb von Softwareprojekten beliebiger Größe. Da die heutige Software immer komplexer und umfangreicher wird, ist das ausführliche Testen aller Komponenten unabdingbar, um eine hohe Qualität nachweislich zu gewährleisten. Um den Aufwand und auch die Kosten für die Testdurchführung so gering wie möglich zu halten, ist eine Automatisierung am effektivsten. Visual Studio 2010 bringt ein umfangreiches Toolset mit sich, um mit wenig Aufwand einen hohen Automatisierungsgrad der Softwaretests zu erreichen und somit Ressourcen, Zeit und die damit verbundenen Kosten zu sparen. Des Weiteren kann durch die Automatisierung die Auswertungsmöglichkeit und Verlässlichkeit von Testergebnissen deutlich gesteigert werden. Coded UI Tests Mit Visual Studio 2010 wurden viele neue Möglichkeiten rund um das Thema Testing, Testmanagement und Testautomatisierung geschaffen. Eine der wichtigsten Neuerungen hierbei sind die sogenannten Coded UI Tests. Diese ermöglichen das Erstellen von Code zum automatisierten Testen von Benutzeroberflächen, wobei es sich sowohl um funktionale Tests als auch Validierungen der Oberflächensteuerelemente handelt. Wie es auch bereits in Visual Studio & Team Foundation Server 2008 üblich war, Tests wie Load-, Web und Unittest in den autmatisierten Team Build zu integrieren, wurde diese Funktionalität auch auf die Coded UI Tests ausgeweitet. Damit ist es möglich UI Tests voll automatisch in einem Build Prozess ausführen zu lassen und auszuwerten. Automatisierungsmöglichkeiten In Visual Studio 2010 existieren drei Möglichkeiten Coded UI Tests zu generieren: Verwendung des Coded UI Test Builders (als Teil von Visual Studio 2010 Premium bzw. Ultimate) Testfall Recording mit dem manuellen Testrunner (als Teil von Visual Studio 2010 Test Professional bzw. Ultimate) Generierung aus dem Testfallrecording eines manuellen Tests (aus dem WorkItem Typ Testcase) Coded UI Test Builder Generierung von Testscript-Code (C# oder VB) durch Aufzeichnung von Benutzeraktionen Hinzufügen von Validierungen während der Aufzeichnung Späteres Hinzufügen und Entfernen von Aktionen und Validierungen Sehr einfache Anwendung Recording mit manuellen Testrunner Aufzeichnung von Benutzeraktionen während der Testausführung Erzeugen von Testscripten in C# oder VB Umwandlung manueller Tests Generierung automatisierter Tests aus Benutzeraktionen Erzeugen von Testscripten aus aufgezeichneten Testschritten Tests können automatisiert oder manuell durchgeführt werden 3

4 Unterstützte Technologien und Umgebungen In Visual Studio 2010 Premium ist es möglich verschiedene und ultimate automatisierte Testtypen zu erstellen. Dabei ist es entscheidend, welche Plattformen und Technologien für eine Testautomatisierung in Frage kommen. Folgende Konfigurationen werden derzeit für die Test automatisierung unterstützt:.net Framework Betriebssysteme Windows 2000 mit SP4 Windows XP mit SP3 Windows Server 2003 mit SP1 oder SP2 Windows Server 2008/2008 R2 Windows 7 Technologien IE7, IE8, IE-DOM-kompatible Browser, insbesondere ASP.Net, PHP, JSP, ASP, AJAX, SharePoint und Web 2.0 Anwendungen.NET Windows Forms, WPF, MFC-Applikationen 32 Bit und 64 Bit Zukünftig wird unterstützt: - Silverlight - Firefox Automation Plattformen MSAA (Microsoft Active Accessibility) MSUIA (Microsoft UI Automation) Plugin-Architektur für das Erstellen eigener Provider (Java, SAP, etc.) Offene Architektur für Implementierung von Testagenten auf anderen Plattformen Bearbeitung und Erweiterung Da sich fertiggestellte Benutzeroberflächen und Funktionalitäten während der Projektphase häufig ändern, müssen auch die zugehörigen manuellen, wie auch automatisierten Tests ggfs. angepasst oder erweitert werden. Auch hier stehen dem Visual Studio 2010-Nutzer einige Möglichkeiten zur Verfügung. Neuaufzeichnung/Neugenerierung der Tests Manuelles Ändern des generierten Codes Bearbeiten von vorhandenenen Validierungen Verwenden des Coded UI Test Builders zum Erweitern existierender Tests um weitere funktionale Tests oder Validierungen Refactoring von Testcode Best Practices Die folgenden Best Practices sollten bei der Erstellung von Coded UI Tests berücksichtigt werden, um die Automatisierung und Weiterverarbeitung so einfach wie möglich zu machen. Möglichst Coded UI Test Builder verwenden Beim Anlegen von Test Methoden & Assertions Für Neuaufzeichnung, wenn das Userinterface verändert wurde UIMap.designer.cs Nicht manuell bearbeiten! Beim Verwenden des Test Builders werden Methoden autmatisch generiert, manuelle Änderungen werden über - schrieben Aufbau von Tests/Testmethoden Als Sequenz von aufgezeichneten Methoden aufbauen Für jeden zu testenden Dialog/jedes Formular möglichst einen eigenen Coded UI Test anlegen Aussagekräftige Namen für die Testmethoden verwenden Maximal zehn Aktionen pro Test - methode sind empfehlenswert Applikationen Seperates UI Map File für jedes Modul anlegen Aussagekräftige Namen für die Controls verwenden Verwendung der API Anlegen einer Methode für jede Assertion in der UIMap Klasse zum Aufrufen aus eigener Testmethode Möglichst Eigenschaften und Methoden der Klassen in UIMap.designer.cs verwenden 4

5 Debuggen mit Intellitrace Debuggen von Fehlern Intellitrace ist eine weitere neue Technologie, die mit Visual Studio 2010 eingeführt wird. Dabei handelt es sich um eine Art digitalen Videorcorder, der Debuginformationen während des Testens aufzeichnet, um in diesen später vorund zurückspringen zu können. Dadurch wird eine Art historisches Debuggen möglich. Durch Intellitrace werden Diagnosemöglichkeiten und das Auffinden von Fehlern siginfikant verbessert. Aus den aufgezeichneten Informationen kann der Zustand aus der Testsession wieder hergestellt und somit Bugs leichter reproduziert werden. Intellitrace ermöglicht somit: Die Aufzeichnung von Debug - informationen Schnellere Reproduktion und Diagnose von Bugs Eine höhere Produktivität beim Debuggen Unterstützte Anwendungen & Szenarien Debuggen mittels Intellitrace ist bei Anwendungen auf Basis folgender Technologien und Anwendungen unterstützt:.net Framework 2.0, 3.0, 3.5 und 4.0 ASP.NET Windows Forms WPF, WF oder WCF Eine Unterstützung für Remote - debugging gibt es derzeit nicht. Des Weiteren werden aktuell ausschließlich 32 Bit Anwendungen unterstützt, wobei das Debuggen von 64 Bit Anwendungen über Ablaufprotokolldateien des Testmanagers möglich ist. Intellitrace ermöglicht das Debuggen von Tracedateien die mit Visual Studio oder Testmanager erstellt wurden. Sammlungsoptionen Welche Informationen durch Intellitrace gesammelt werden, wird über verschiedene Optionen festgelegt. Dabei können folgende Ereignisse zusätzlich aufgezeichnet werden: Weitere Debugerereignisse (z.b. Stoppereignisse) Ausnahmeereignisse (Aus - nahmetyp und Meldung).NET Framework Ereignisse 5

6 Rich Information Bugs Nie mehr No-Repro Bugs In Visual Studio 2010 existieren zahlreiche Möglichkeiten, die Nachvollziehbarkeit von Bugs zu verbessern. Dazu wurden viele Möglichkeiten geschaffen Informationen während des Testens zu sammeln und dem Entwickler oder anderen Projektmitgliedern zur Verfügung zu stellen. Als Ergebnis eines Fehlers, der während eines Testdurchlaufs auftritt, können vom Tester direkt Bugs im Team Foundation Server generiert und mit allen gesammelten Informationen versehen werden. Dabei ist besonders wichtig, dass jedes Projektmitglied in seiner gewohnten Umgebung bleiben kann und Zugriff auf das zentrale TFS Repository erhält. Rich Information Bug Neben hilfreichen Informationen wie textuellen Beschreibungen, Code Coverage oder beliebigen Attachments gibt es einige Neuerungen, die als Informationen in ein Bug-Work-Item integriert wer- den können. Dazu gehören zum Einen System Informationen und System Events, die automatisch aufgezeichnet werden können, zum Anderen Bild & ScreenVideos, wie man es aus etablierten Tests und Testmanagement Tools gewohnt ist. Diagnosedaten Durch eigene Diagnoseadapter können Information wie z.b. Eventlogs und Datenbankinhalte gesammelt werden System Informationen Umgebungsinformationen wie z.b. RAM, CPU, ScreenResolution, Patchlevel Code Coverage Auswertung der Codeabdeckung VM Snapshot Snapshot einer virtuellen Testumgebung System Events aufgetretene Systemevents Intellitrace historische Debuginformationen zum späteren Debuggen der Anwendung Bild & Screen Video Screenshots (*.png) und / oder Videoaufzeichnung (*.wmv) der Useraktionen Action Log Aufzeichnung der Testschritte zur späteren automatisierung des Tests Virtuelle Testumgebung Mit Visual Studio 2010 wurden Möglichkeiten geschaffen ein komplettes, virtuelles Testcenter mit dem Visual Test und Labmanager aufzubauen und in eine Team Foundation Server 2010 Landschaft zu integrieren. Damit ist es möglich, Testumgebungen automatisch bereitzustellen und über Buildprozesse mit der richtigen Softwareversion zu versehen. Durch Virtualisierungstechnologien ist es außerdem möglich den aktuellen Zustand der virtuellen Umgebung in Form eines Snapshots im Bug zu hinterlegen. Der Entwickler kann somit direkt in die Situation springen die im Fehlerfall vorlag. Log Files System Info Bild + Screen Videos Fehler Code Coverage Intellitrace VM Snapshot Debug Info System Events 6

7 Über den Autor Manuel Böndel, Diplom Medien- Informatiker (FH) MS Certified System Administrator (MCSA) MS Certified Professional Developer for Enterprise Applications (MCPD-EA) MS Certified Technology Specialist (MCTS) SharePoint Server 2007 (MOSS) Configuration Team Foundation Server 2010 Certified SCRUM Master Certified Instructor Seit dem erfolgreichen Abschluss seines Medien-Informatik-Studiums im Jahr 2004 an der Fachhochschule Braunschweig/Wolfenbüttel ist Herr Böndel im IT-Umfeld tätig. Dabei hatte er Gelegenheit in den verschiedensten Rollen eines Projektes tätig zu sein, angefangen vom Entwickler über den Systemanalytiker bis hin zum Tester. Seit März 2008 ist Herr Böndel bei der Avanade Deutschland GmbH als Consultant für Microsoft-Technologien mit Schwerpunkt Team Foundation Server, Application Lifecycle Management und SharePoint Server tätig. Neben der Projektarbeit ist er für den Aufbau der ALM- Kompetenz und der Schulung weiterer Mitarbeiter in diesem Umfeld verantwortlich. In einem weltweit führenden Unternehmen im Bereich Microsoft- Technologien ist ein Consultant bei Avanade ständig mit neuen Technologien, Herausforderungen und Kunden konfrontiert. Auf Grund der zahlreichen Erfahrungen der letzten Jahre ist deshalb der Bereich Application Lifecycle Management besonders interessant geworden, da mit immer komplexer werdenden Projekten, Architekturen und Anforderungen die Nachfrage nach einer vollständig integrierten Tool- Landschaft und definierten und dennoch flexiblen Prozessen immer größer wird. Tel. +49 (0) Manuel.boendel@avanade.com 7

8 Warum Avanade? Avanade bietet Ihnen Dienstleistungen, basierend auf Microsoft- Technologien, die Know-how, Expertise und Innovation vereinen und dabei Kunden bei der Realisierung Ihrer Ziele unterstützen. Avanade, das mehrheitlich Accenture gehört, wurde 2000 von Accenture und Microsoft gegründet und betreut Kunden mit über Experten weltweit in mehr als 25 Ländern. Das globale Berater-Netzwerk besteht aus erstklassigen Microsoft-Spezialisten und verwendet den richtigen Mix aus Onshore-, Offshore- und Nearshore-Angeboten, um Ergebnisse schneller, zu geringeren Kosten und mit weniger Risiko zu erreichen. Die Services und Lösungen von Avanade helfen Unternehmen verschiedenster Branchen, effektiver zu arbeiten und ihre Produktivität zu erhöhen. Avanade entwickelt neue Produkte und Dienstleistungen, die sich von der Masse abheben, verschafft Ihnen einen Wettbewerbsvorteil und trägt zum Wachstum bei. Marktführende Microsoft-Kenntnisse mit Microsoft-Zertifizierungen und einem Drittel der weltbesten Microsoft Certified Architects. Unsere Dienstleistungen sind ganz auf die Bedürfnisse, den zeitlichen Rahmen und das Budget des Kunden abgestimmt. Avanade ist immer da: Unser globales Netzwerk von Experten arbeitet rund um die Uhr zusammen, um die besten Ideen voranzubringen und Probleme schnell zu lösen. Unsere einzigartigen Beziehungen zu Accenture und Microsoft verbessern unsere Leistungsfähigkeit und beschleunigen unser Arbeitstempo. Für weitere Informationen wenden Sie sich bitte an Stefan Zill unter +49 (0) Über Avanade Avanade bietet Dienstleistungen, basierend auf Microsoft-Technologien, die Know-how, Expertise und Innovation vereinen und dabei Kunden bei der Realisierung ihrer Ziele unterstützen Avanade Inc. Alle Rechte vorbehalten. Der Name Avanade und das Avanade Logo sind in den USA und anderen Ländern eingetragene Warenzeichen. Nord-, Mittel- und Südamerika Seattle Tel Americas@avanade.com Europa London Tel Europe@avanade.com Asien-Pazifik-Raum Sydney Tel AsiaPac@avanade.com