White Paper Automatisierter Software - Test mit TOSCA Dynamische Scriptgenerierung

Transkript

1 White Paper Automatisierter Software - Test mit TOSCA Dynamische Scriptgenerierung

2 Inhaltsverzeichnis Automatisierter Software Test bei Triton... 3 Capture/Replay im automatisierten Software - Test... 4 Develop/Replay der gängige Ansatz... 4 Dynamische Scriptgenerierung... 6 Aufbau von Tosca...6 Der Tosca Explorer...7 Wartung von automatisierten Testportfolios unter Tosca...8 Vorteile von Tosca... 9 Implementierung von Tosca

3 Automatisierter Software Test bei Triton Softwarequalität wird immer mehr zu einem entscheidenden Erfolgsfaktor für die Zufriedenheit Ihrer Partner und Kunden. Ein Großteil der Kosten in der Software Qualitätssicherung fällt in der Betriebs- und Wartungsphase der Software an: Erweiterungen und Anpassungen erfordern die regelmäßige Produktion neuer Releases. Für jede einzelne dieser Releases ist sicherzustellen, dass die neuen und die zuvor vorhandenen Funktionalitäten wunschgemäß bereitgestellt wurden ( regressiver Testbedarf). Triton beschäftigt sich seit seiner Gründung im Jahre 1997 intensiv mit der Qualitätssicherung in der Softwareentwicklung und den diversen Testprozessen, -verfahren und tools. Für regressive Testaufgaben geht Triton konsequent den Weg der Testautomatisierung. Abbildung: Regressionstest im Entwicklungsprozess Der Aufbau automatisierter Tests ist mit herkömmlichen Werkzeugen zur Steuerung komplexer Applikationen kostenintensiv und zugleich riskant: Solange die Anwendung nicht den Endzustand erreicht hat, bewirken Änderungen den Verlust großer Teile des Testportfolios. Das Tosca Testkonzept ermöglicht mit seinem Ansatz der Dynamischen Scriptgenerierung die Reduktion des Wartungsaufwandes von Testportfolios auf das denkbare Minimum. Der Ansatz der Dynamischen Scriptgenerierung erlaubt es, das für die Testautomatisierung erforderliche technische KnowHow in einem einzigen Mitarbeiter Ihres Testteams zu bündeln. Dadurch werden die Kosten in Betrieb und Wartung Ihres Softwareproduktes signifikant reduziert. Der Mehrwert von Tosca wird umso deutlicher, je komplexer das zu testende System ist (Testtarget)

4 Capture/Replay im automatisierten Software - Test Die ersten Erfahrungen im Zusammenhang mit der Automatisierung von Software Tests sammeln die Kunden von Triton zumeist über die Verwendung von Capture/Replay Werkzeugen, welche von verschiedenen großen Herstellern angeboten werden: Die Bedienungsschritte in der Abarbeitung von Geschäftsfällen im Testtarget werden aufgezeichnet und ein Script erstellt, welches die relevanten Informationen zum Bedienungsvorgang enthält. Dieses Script kann in weiterer Folge automatisiert abgespielt werden, um den Bedienungsvorgang zu wiederholen. Die Erstellung von Scripts ist sehr einfach, es muss lediglich der Recorder vor Bedienung des Testtargets gestartet werden. Allerdings weisen mit Capture/Replay erstellte Scripts entscheidende Nachteile auf: Abbildung: Beispielscript Capture/ Replay; die Menüsteuerung, die technische Identifikation des Controls sowie der fachliche Datenwert stehen im Script hardcodiert. Das Abspielen der Scripts funktioniert in 30% der Scripts nicht sofort, sondern bedarf der Anpassung. Je komplexer das Testtarget, desto höher ist der Anpassungsaufwand. Fachliche und technische Testdaten stehen im Script. Um funktionieren zu können, enthält das Script Information, wie die einzelnen Bildschirmelemente im Testtarget zu identifizieren sind. Darüber hinaus stehen jene Daten im Script, die im Testtarget eingetragen werden. Die Dialogsteuerung (Menübedienung, Bedienung von PushButtons, etc.) steht hardcodiert im Script. Für die Erstellung und Wartung der Testscripts werden Techniker benötigt. Testscripts sind Programmcode! Für eine sinnvolle Menge an automatisierten Testfällen (100erte oder 1000ende Testfälle) ergeben sich riesige Scriptmengen. Änderungen im Testtarget müssen in den einzelnen Scripts aufwendig nachgeführt werden, um die Funktionstüchtigkeit der Testportfolios zu gewährleisten. In der Praxis funktioniert automatisiertes Testen über den Capture/Replay Ansatz lediglich für kleine Softwareprojekte. Develop/Replay der gängige Ansatz Um das Problem der hohen Wartungsaufwände für automatisierte Testfälle in den Griff zu bekommen, gehen jene Unternehmen, in welchen der automatisierte Test funktionsfähig läuft, den Ansatz des Develop/Replay: Wie im Capture/Replay werden zunächst Scripts erzeugt. Diese Scripts werden allerdings nach der Aufzeichnung tiefgreifend überarbeitet, um sie robust gegen

5 Änderungen im Testtarget zu machen. Die fachlichen Testdaten werden aus den Scripts extrahiert und in eine eigene Datenversorgung ausgelagert (z.b. Excel Tabellen, etc.). Die Scripts werden in wiederverwendbare Teile segmentiert, wobei typischerweise ein Bildschirm im Testtarget einem Script entspricht. Testfälle werden anschließend gebildet, indem Ketten von Scripts zusammengestellt werden. Über den Ansatz des Develop/Replay kann das Wartungsproblem deutlich entschärft werden. Es verbleiben allerdings einige entscheidende Schwierigkeiten, die in den einzelnen Projekten zu lösen sind: Abbildung: Beispielscripts Develop/ Replay; die fachlichen Testdaten werden aus externen Quellen gelesen. Die Scripts werden in logisch zusammengehörige Teile segmentiert. Die zuvor aufgezeichneten Scripts bedürfen aufwändiger Überarbeitungen. Diese Überarbeitungen machen die Testautomatisierung zum Entwicklungsprojekt! Um die automatisierten Testfälle "lesen" zu können, benötigen Tester stets mehrere Quellen (Scripts und die Testdaten Quelle). Dadurch wird eine manuelle Ausführung der Tests praktisch unmöglich und die Reproduktion der Fehler für eine Behebung durch die Entwicklungsmannschaft deutlich erschwert. Die Dialogsteuerung in den Scripts ist nach wie vor hardcodiert. Die Erstellung und Wartung der Testfälle ist im Develop/Replay Ansatz ausschließlich Technikern vorbehalten. Automatisiertes Testen über den Develop/Replay Ansatz ist Unternehmen vorbehalten, die ausreichend technische Ressourcen für die Testautomatisierung bereitstellen können. Der Ansatz funktioniert zwar in der Praxis, ist aber jedenfalls sehr entwicklungs- und daher kostenintensiv. In der Praxis entwickeln diejenigen Unternehmen, die Testautomatisierung über Develop/Replay betreiben, weiterführende Frameworks oder Funktionenbibliotheken, welche die Arbeit mit den Scripts erleichtern

6 Dynamische Scriptgenerierung In den zuvor genannten Ansätzen Capture/Replay und Develop/Replay werden Scripts, die aus einem Aufzeichnungsprozess entstehen, direkt abgespielt oder zunächst aufwändig überarbeitet. Die Testfälle sind als Scripts oder Verkettung von Scripts ausformuliert. Die Scripts benötigen in der Erstellung, jedenfalls aber in der Pflege technisches KnowHow (Programmierkenntnisse). Daher schrecken viele Projektverantwortliche vor der Automatisierung ihrer Testportfolios über Develop/Replay zurück. Um automatisiertes Testen zu einem fachlichen Projekt zu machen, entwickelte Triton in den letzten fünf Jahren im Rahmen mehrerer, großer Testprojekte seinen Testansatz Tosca. Kernpunkt dieses Testansatzes ist die Dynamische Scriptgenerierung: Mit Tosca werden die Scripts zur Steuerung der Testtargets zur Laufzeit, also während des Abspielens der Testfälle erzeugt! Mit Tosca wird der gesamte Aufwand in der Erstellung, Durchführung und Pflege von Testfällen auf das denkbare Minimum reduziert. Die verbleibenden Arbeiten können weitgehend ohne technisches KnowHow erfolgen. Aufbau von Tosca Mit Tosca werden fachliche Testdaten und technische Steuerinformationen konsequent getrennt: Tosca Explorer Test Engine XML Interpreter Steuerkommandos Ausführungseinheit Elementare Steuerung Testtarget XML Abbildung: Aufbau von Tosca; beim Abspielen der Testfälle werden die fachlichen Testdaten mit den Informationen zur technischen Steuerung dynamisch zusammengeführt und daraus ausführbare Steuerbefehle erzeugt. ObjectMap (technisch) Die technischen Steuerinformationen werden in sogenannten ObjectMaps in XML Struktur abgelegt. Die Verwaltung aller fachlichen Testdaten sowie der gesamten Informationen zur Dialogsteuerung findet im Werkzeug Tosca Explorer statt. Der Tosca Explorer ist vom Handling her an den Windows Explorer angelehnt. Im Zuge der Testdurchführung wird zunächst die (fachliche) Testfallbeschreibung aus dem Tosca Explorer in eine XML Struktur exportiert. Ein von Triton erstellter Interpreter führt beim Abspielen der Testfälle die fachlichen Daten sowie die Informationen zur Dialogabfolge im Test mit den technischen Beschreibungen in der ObjectMap zusammen und generiert Steuerkommandos

7 Die Ausführungseinheit steuert mit Hilfe der vom Interpreter erhaltenen Kommandos das Testtarget. Beim Abspielen wird eine XML Struktur erzeugt, welche die Ergebnisse aus der Testdurchführung beinhaltet. Diese Ergebnisse können über Knopfdruck in den Tosca Explorer zurückgeführt werden und zeigen den Status der Testfälle an. Voraussetzung für Tosca ist die Bereitstellung einer leistungsfähigen Controlsteuerung. Triton bedient sich in diesem Zusammenhang seiner bewährten Steueradapter und erweitert deren Funktionalität im Bedarfsfall. Der Tosca Explorer Der Tosca Explorer ist das zentrale Werkzeug zur Erstellung und Verwaltung von Testfällen. Im Gegensatz zum Develop/Replay Ansatz, in welchem Testfälle auf einer technischen Ebene (als Ketten von Scripts) verwaltet werden, erfolgt im Tosca Explorer die Verwaltung auf einer fachlichen Ebene. Über den Tosca Explorer erhalten Personen ohne technische Kenntnisse die Möglichkeit, in der Testautomatisierung entscheidend mitzuwirken. Abbildung: Tosca Explorer

8 Zunächst werden im Tosca Explorer sogenannte Module angelegt. Diese sind das fachliche Gegenstück zu den technischen ObjectMaps und beschreiben die einzelnen Bildschirme des Testtargets aus fachlicher Sicht. Typischerweise enthalten die Module Attribute, welche mit den Steuerelementen (Controls) im Testtarget korrelieren. Anschließend werden die Module über Drag n Drop zu Testfällen aneinandergereiht. Zuletzt werden die einzelnen Attribute mit jenen Werten versehen, die in einem bestimmten Testfall im Testtarget eingetragen werden müssen bzw. gegen die zu testen ist. Zur Durchführung werden die Testfälle in XML übersetzt und an die Ausführungsschicht übergeben. Wartung von automatisierten Testportfolios unter Tosca Mit Tosca erstellen Sie ein vollständig redundanzfreies Testportfolio: die technischen Steuerdaten werden an genau einer Position im System gehalten. Mit Tosca werden die Wartungskosten für Ihre automatisierten Testportfolios auf das denkbare Minimum reduziert. Wenn Controls im Testtarget hinzukommen oder entfernt werden, müssen diese Änderungen an genau einer Stelle in der technischen Definition (ObjectMap) und im Tosca Explorer nachgeführt werden. Wenn sich Dialogabläufe ändern, können gleichartige Testfälle im Tosca Explorer in gleicher Art auf Knopfdruck angepasst werden, um die Änderungen zu berücksichtigen. Wenn sich Testfälle fachlich bzw. inhaltlich ändern, können all diese Änderungen auf einer fachlichen Ebene bewerkstelligt werden. Es sind keinerlei technische Kenntnisse für die Pflege erforderlich. Abbildung: Kostenverlauf im Automatisierten Test, Vergleich der Ansätze

9 Vorteile von Tosca Tosca wurde in den letzten Jahren in vielen automatisierten Testprojekten überaus erfolgreich implementiert. Die Kunden nannten als die entscheidenden Vorteile von Tosca, die sie gegenüber dem Develop/Replay Ansatz schätzen lernten: Für die Erstellung und Pflege benötigen die Mitarbeiter im Testteam kein technisches KnowHow mehr! Mit Tosca wird ein organisatorischer Umbau des Testteams ermöglicht, welcher einen wesentlich sparsameren Einsatz der knappen technischen Personalressourcen erlaubt! Im Tosca Explorer stehen sämtliche fachlichen Informationen zum Test. Die Testfälle in Tosca sind daher stets "vollständig" spezifiziert und auch für eine manuelle Testdurchführung sofort lesbar! Implementierung von Tosca Die Implementierung von Tosca erfolgt zumeist in drei Schritten: 1. Triton wählt gemeinsam mit dem Kunden im Rahmen eines Proof Of Concept das geeignete Capture/Replay Werkzeug für die gegebenen Erfordernisse aus. 2. Triton erstellt gemeinsam mit dem Kunden ein Musterportfolio an automatisierten Testfällen, welches einen detaillierten Einblick in die Arbeit mit Tosca bietet. 3. Triton führt den erforderlichen KnowHow Transfer zum Kunden durch, um dem Kunden die autarke Arbeit mit Tosca zu ermöglichen. Auf Wunsch begleitet Triton den Kunden weiter im Aufbau und Betrieb eines großen automatisierten Testportfolios

10 Triton Unternehmensberatung GmbH Hietzinger Kai 67/ 2.OG 1130 Wien Österreich Tel.: (+43-1) Fax: (+43-1) Mail: Web: