SAP ecatt. Studie über Testautomatisierungswerkzeuge. Studie. Version: 1.0 Stand vom: :39:00 Status: Erstellt Autor: Kurt Aigner

Transkript

1 SAP ecatt Studie über Testautomatisierungswerkzeuge Studie Version: 1.0 Stand vom: :39:00 Status: Erstellt Autor: Kurt Aigner Dokument-ID: Klassifikation: Intern Software Quality Lab. Alle Rechte vorbehalten. Druckdatum:

2 Inhalt DOKUMENTENINFORMATION... III Allgemeines... III Dokument-Historie... III Dokument-Qualitätssicherung... III Zweck und Inhalt dieses Dokuments... III 1. ALLGEMEIN Hersteller Produktportfolio Programmteile Unterstützte Schnittstellen SPEZIFIKATION Testfallbeschreibung Datengetriebene Tests Überprüfungen Wiederverwendbarkeit Robustheit DURCHFÜHRUNG Planung Schnittstellen Verhalten bei Fehlern Protokollierung ADMINISTRATION Installation Integrationen Versionsverwaltung ZUSAMMENFASSUNG ANHANG Abbildungsverzeichnis Abkürzungen I / III

3 Glossar II / III

4 Dokumenteninformation Allgemeines Zusammenhang mit anderen Dokumenten: Diese Analyse ist Bestandteil der Testautomatisierungsstudie von Software Quality Lab. Verteiler: - Dokument-Historie Version Status Datum Verantwortlicher Änderungsgrund / Anmerkungen Dokument-Qualitätssicherung Rolle Name Erreichbarkeit (Org.+Tel.+ ) Tätigkeit Datum Unterschrift Autor Kurt Aigner Ausarbeitern der Version Prüfer Prüfer Freigabe Benedikt Kiesenhofer Johannes Hochrainer Johannes Hochrainer geprüft geprüft freigegeben Zweck und Inhalt dieses Dokuments Dieses Dokument beinhaltet die objektive Analyse eines Testautomatisierungswerkzeugs und soll Interessierten als Entscheidungsgrundlage für die Auswahl eines neuen Werkzeugs dienen. III / III

5 1. Allgemein 1.1. Hersteller Die Firma SAP mit Hauptsitz in Walldorf (Deutschland) ist einer der größten Softwarehersteller weltweit. Im Laufe der 36 jährigen Geschichte entstand ein umfassendes ERP-System (Enterprise Resource Planning) in Form einer Standard Software, die sich einerseits über Parameter anpassen bzw. über die Programmiersprache ABAP erweitern lässt. Dies hat vorerst nichts mit Testautomatisierung zu tun. Um ein derart komplexes und umfangreiches System zu testen, wurde CATT (Computer Aided Test Tool) entwickelt, das zu Beginn nur intern verwendet wurde. Da auch die Kunden ihre Parametrierungen testen mussten, wurde CATT schließlich der SAP Basiskomponente hinzugefügt. Mit ecatt (extended Computer Aided Test Tool) wurden die ursprüngliche Version erweitert. Diese Toolstudie bezieht sich ausschließlich auf ecatt, da CATT in der Praxis nur noch eine untergeordnete Rolle spielt. CATT-Skripte können in den aktuellen SAP Versionen zwar noch ausgeführt, allerdings nicht mehr bearbeitet oder erweitert werden Produktportfolio ecatt ist Teil des SAP Solution Managers und damit Bestandteil jedes aktuellen SAP Systems, d.h. es muss nicht zusätzlich installiert oder erworben werden. Abbildung 1 Integrierte Testlösung des SAP Solution Manager 1 / 20

6 Abbildung 1 zeigt eine Übersicht für die im Test relevanten Teile: Der Business Blueprint bildet die Geschäftsprozesse ab. Der Business Process Change Analyzer erzeugt Testpläne basierend auf geänderten Prozessen. Diese Applikation ist gesondert zu lizensieren. Die TestWorkbench wird für das Testmanagement verwendet. Auch die manuellen Testfälle können damit verwaltet werden. Der Test Data Migration Server (TDMS) erzeugt basierend auf den Produktionsdaten Testdaten (z.b. durch Extraktion und Anonymisierung). Abschließend natürlich noch ecatt selbst, das für die Testautomatisierung der SAP GUI eingesetzt werden kann und in dieser Studie behandelt wird Programmteile ecatt besteht aus einem Programmteil. Für das Testmanagement (Planung und Steuerung) bietet SAP die Test Workbench an, die wie ecatt Bestandteil der SAP Basiskomponente ist. Es ist auch möglich Drittanbieter einzubinden, dies gilt sowohl für die Testautomatisierung, als auch für das Testmanagement. Müssen auch Anwendungen außerhalb des SAP GUI getestet werden, benötigt man zur Automatisierung jedenfalls ein Werkzeug eines Drittherstellers, der die benötigten Technologien (Web-, Java-, Windows-Applikationen, etc.) unterstützt Unterstützte Schnittstellen Da ecatt ausschließlich für die Automatisierung von SAP auf der SAP GUI gedacht ist, werden nur Testschnittstellen unterstützt, die in diesem Bereich von Bedeutung sind: SAP GUI Webservices Web Dynpros 2 / 20

7 2. Spezifikation Ein ausführbarer automatisierter Test besteht bei ecatt in der Regel aus folgenden Elementen: Der Systemdatencontainer ist eine Liste von Systemen, die während des Tests angesprochen werden, d.h. die Liste der Testobjekte bzw. der SUT. Das Testskript ist die Folge von Kommandos, die den Testablauf bestimmt, d.h. der logische oder konkrete Testfall. Der Testdatencontainer enthält wiederverwendbare Daten für die Testdurchführung, die in der Testkonfiguration referenziert werden. Die Testkonfiguration bestimmt welcher Systemdatencontainer, welches Testskript und welche Testdatencontainer verwendet werden und wird für bei der Ausführung aufgerufen. Abbildung 2 SAP Raodmap für die Testautomatisierung mit ecatt 2.1. Testfallbeschreibung Um Testfälle in ecatt zu spezifizieren werden die Transaktionen aufgezeichnet und anschließend bearbeitet. Abbildung 3 zeigt den ecatt Editor. Im oberen Bereich sind die Kommandoschnittstellen für das aktuelle Testskript zu sehen. Diese Kommandoschnittstellen werden bei der Aufzeichnung automatisch angelegt. In welcher Granularität die Befehle erstellt werden, wird vor Aufzeichnung durch den Aufzeichnungsmodus festgelegt. Man hat dabei die Wahl, ob viele Befehle im Skript erzeugt und damit auch viele Kommandoschnittstellen angelegt werden, oder ob in einem SAP-GUI- Befehl mehrere Eingaben und Transaktionen gruppiert werden. Es werden in allen Fällen die gleichen Informationen aufgezeichnet und gespeichert, sie werden nur unterschiedlich dargestellt. 3 / 20

8 Folgende Aufzeichnungsmodi sind möglich: Manuelle Erzeugung: Ein SAPGUI-Befehl wird nur erzeugt, wenn SAPGUI-Befehl in Skript einfügen gewählt wurde oder die Aufzeichnung angehalten wird. Pro Dialogschritt: Jede Kommunikation zwischen Frontend und Backend erzeugt jeweils einen SAPGUI-Befehl. Bei jedem Dynpro-Wechsel: Jeder Dynpro-Wechsel erzeugt jeweils einen SAPGUI- Befehl. Für jede Transaktion: Jeder Transaktions-Wechsel erzeugt jeweils einen SAPGUI- Befehl. Für jede Session:. Die Daten für jede Session werden jeweils in einem SAPGUI-Befehl aufgezeichnet. Die Befehlsgranularität kann auch nach der Aufzeichnung geändert werden. Dies ist vor allem dann von Bedeutung, wenn Eingaben bzw. Aktionen hinzugefügt oder entfernt werden, da dies in der Kommandoschnittstelle nicht möglich ist. Damit ein Skript gut lesbar und wartbar ist, muss sowohl die Granularität richtig dimensioniert sein, als auch das Skript aussagekräftig dokumentiert werden. Testfälle müssen in ecatt von Experten erstellt und gepflegt werden, die Programmiererfahrung haben. ABAP Kenntnisse sind nicht zwingend erforderlich, allerdings von Vorteil, da in ecatt ABAP-Code, sogenanntes Inline ABAP, direkt ausgeführt werden kann. Es ist allerdings möglich die Rolle des ecatt-testautomatisierungsexperten und der des ABAP-Entwicklers personell zu trennen, da ABAP-Code auch über Funktionsbausteine (FUN) ausführbar ist. 4 / 20

9 Thank you very much for downloading a public preview of our well known and highly appreciated tool studies. If you re interested in reading the whole document just apply here and request the document you want to read from our comprehensive set of studies already available. For further information on our tool studies visit our web site. Or, you can always use the following form to request the studies you want to read. Seite 1 von 2

10 Bestellformular für Tool-Studien/Order form for tool studies An/to Software Quality Lab GmbH Gewerbepark Urfahr Linz AUSTRIA Bitte ausgefüllt per an/ Please fill out and send to info@software-quality-lab.com Name/full name: Adresse/address: Firma/company: / Funktion/role: Telefon/phone: / [bitte füllen Sie die Daten vollständig und korrekt aus/please supply correct and complete data] Bestellliste/Order list [bitte kreuzen Sie die gewünschten Tools an/please select the tool studies] ALM, RM IBM Rational Requirements Composer Jama Contour 3.61 NEU! Micro Focus Borland Caliber Microsoft Team Foundation Server 2013 Polarion ALM 2014 HP ALM 11 VersioneOne 13.0 Visure Solutions IRQA 4 Test Management Imbus TestBench Micro Focus SilkCentral 2008 Microsoft VSTS 2010 Mozilla Testopia 2.1 Orcanos QPack 5 Polarion ALM NEU! Siemens SiTEMPPO 5.8 TestLink Seapine TestTrack 2012 Static Code Analysis SonarQube 4.5 GUI Test Automation Appium Bredex GUIdancer 4.2 HP UFT Professional 10 IBM Functional Tester Microsoft VSTS 2010 QF-Test NEU! Ranorex 3.3 SAP ecatt Selenium 2.0 SmartBear TestComplete 9.3 SmartBear SoapUI 5.1 Weitere Informationen auf unserer Website Embedded Systems LDRA 8.0 Razorcat Tessy 2.6 Load/Performance Apache JMeter 2.8 Grinder 3.4 HP LoadRunner 9.5 Neotys Neoload SmartBear LoadUI Unit Tests Google Test 1.5 JUnit 4.11 NUnit Die Toolnamen und eingetragenen Warenzeichen sind Eigentum der jeweiligen Toolhersteller/Tool names are property of tool vendors. Die Studien sind grundsätzlich auf Anfrage frei erhältlich. Software Quality Lab behält sich jedoch vor, die Aufwände für gewisse Branchen und Privatpersonen in Rechnung zu stellen (z.b. Beratungsfirmen, Toolhersteller usw.) Studenten erhalten die Studie zum halben Preis/All studies are basically free, except for certain branches of industry or private persons, for whom we invoice at cost. Students get a discount of 50%. Seite 2 von 2

11 Tool Evaluation Center Efficient, goal-oriented and professional tool evaluation Unique in Europe What is TEC? The Tool Evaluation Center (TEC) is a neutral environment for evaluating software tools related to software development, through which you will receive a detailed, vendorindependent overview of the suitability of different tools for your software projects. Your Partner for software quality and testing Consulting Implementation Training Automation Evaluation Software Quality Lab is your competent partner in software quality and testing and one of the leading independent consulting companies in Austria. We specialize ourselves in the improvement of efficiency, quality and security in the fields of software development and system processes. All tools in TEC are up to date, installed and configured, furnished with examples and ready for demonstration. Practical work and getting to know the tools in a handson manner is also possible. Your Benefit EETime-saving: Tool selection in a few days. No time-consuming research and product requests, no installation and testing. EEPreparation of information for different target groups from technicians to the managing board. EESupport provided by specialists, ranging from requirements through to a proof of concept or a pilot project. Our services around the tool selection Tool categories in the TEC EEApplication Life Cycle Management EERequirements Management EETest Management EEGUI Test Automation EETest Data Management EEComprehensible decision criteria: Using special techniques we evaluate the tools together with you, basing on your requirements as a foundation for your investment decision. EELarge selection and direct comparison of products ranging from market leaders through newcomers to open source software and freeware. Linz / Vienna / Graz / Lustenau / Munich Requirements elicitation, Creating a list of criteria Tool review, Pre-selection of tools, Practical getting to know the tools in the TEC Workshop with 3-5 suitable tools, Proof of Concept, Planning and implementing the pilot project Integration with other tools Tools in TEC Our TEC includes more then 40 installed tools from reputable manufacturer (e.g. IBM, HP, Micro Focus, Microsoft, Polarion, Siemens) as well as interesting newcomer products and alternatives from the open source area (e.g. JMeter, Selenium). Further details can be found at V Software Quality Lab GmbH info@software-quality-lab.com