HP LoadRunner 9.5. Studie über Lasttestwerkzeuge. Studie. Version: 1.0 Stand vom: :40:00 Status: Freigegeben Autor: Klimes, Plasser

Transkript

1 HP LoadRunner 9.5 Studie über Lasttestwerkzeuge Studie Version: 1.0 Stand vom: :40:00 Status: Freigegeben Autor: Klimes, Plasser Dokument-ID: Klassifikation: Intern Software Quality Lab. Alle Rechte vorbehalten. Druckdatum:

2 Dokumenteninformation Allgemeines Inhalt DOKUMENTENINFORMATION... 2 Allgemeines... 2 Dokument-Historie... 2 Dokument-Qualitätssicherung... 2 Zweck und Inhalt dieses Dokuments ALLGEMEIN Hersteller Produktportfolio Programmteile Einführung TESTSPEZIFIKATION Unterstützte Schnittstellen und Umgebungen Testfallbeschreibung Datengetriebenes Testen Überprüfungen DURCHFÜHRUNG Planung Schnittstellen Verhalten bei Fehlern Protokollierung ANALYSE UND REPORTING ADMINISTRATION Installation (Windows) Systemanforderungen (Windows) Vorausgesetzte und bereits installierte Software (Windows) Installationsoptionen ZUSAMMENFASSUNG / 21

3 Dokumenteninformation Allgemeines Dokumenteninformation Allgemeines Zusammenhang mit anderen Dokumenten: Diese Analyse ist Bestandteil der Testautomatisierungsstudie von Software Quality Lab. Verteiler: - Dokument-Historie Version Status Datum Verantwortlicher Änderungsgrund / Anmerkungen Dokument-Qualitätssicherung Rolle Name Erreichbarkeit (Org.+Tel.+ ) Tätigkeit Datum Unterschrift Autor Jaroslav Klimes, Jürgen Plasser erstellt 30. April 2010 Prüfer Johannes Hochrainer geprüft 30. April 2010 Freigabe Johannes Hochrainer freigegeben 3. Mai 2010 Zweck und Inhalt dieses Dokuments Dieses Dokument beinhaltet die objektive Analyse eines Lasttestwerkzeugs und soll Interessierten als Entscheidungsgrundlage für die Auswahl eines neuen Werkzeugs dienen. 2 / 21

4 Allgemein Hersteller 1. Allgemein 1.1. Hersteller Hewlett-Packard ist eine der größten Technologiefirmen der Welt mit einem Jahresumsatz von mehr als 100 Milliarden US Dollar. Seit ihrer Gründung im Jahr 1939 hat die Gesellschaft ihre Aktivitäten in viele IT-spezifische Bereiche ausgedehnt und ist heute in fast allen Ländern der Welt tätig. HP fokussiert sich vor allem auf die Entwicklung und Produktion von Rechner-, Speicher- und Netzwerkhardware, aber auch auf Softwareentwicklung und andere Services. HP hat sich lange Zeit mit dem Testen von Software beschäftigt. Schon in den Vierzigerjahren des vorigen Jahrhunderts wurden ihre ersten elektronischen Testgeräte wie z. B. Oszilloskope, Wellenanalysatoren oder Voltmeter entwickelt. Die Software-Test-Lösungen sind jedoch im Portfolio von HP relativ neu, sie wurden großteils in den letzten zehn Jahren entwickelt und sehr oft auch von anderen Software-Herstellern, die HP später akquiriert hat. Die HP Software & Solution Division, die sich um alle Softwareprodukte der Gesellschaften kümmert, folgt der Strategie der Marktbeherrschung durch zahlreiche Akquisitionen ihrer Mitbewerber. Dank dieser Strategie ist HP ein Marktführer und ein wichtiger Mitbewerber in praktisch allen Bereichen von Software-Qualitäts-Lösungen und peilt mit ihren komplexen Softwarelösungen große Unternehmen als Zielgruppe an Produktportfolio Das gesamte Produktportfolio von HP ist extrem umfangreich, wir betrachten in dieser Studie nur das Portfolio der HP Software & Solution Division. Es gibt vier Produktzweige dieser HP- Division: IT Management Products & Solutions, Information Management Products and Solutions, Business Intelligence Solutions und Communications and Media Software and Solutions. HP Software & Solutions macht auch Consulting-, Education- und Supportdienste. Im Bereich von IT Management Products & Solutions, wo auch HP LoadRunner angesiedelt ist, bietet HP ihre Produkte in sogenannten Product Centers an, die mehrere Softwareprodukte oder Lösungen enthalten können: Das HP Application Security Center besteht aus Produkten, die ursprünglich von der Firma SPI Dynamics entwickelt wurden. Es umfasst DevInspect, Assessment Platform, QAInspect and WebInspect. Das HP Business Availability Center besteht aus mehreren Management-Produkten: Business Service Level Management Software, Business Process Monitor, Business Process Insight, Discovery and Dependency Mapping, End User Management Problem Isolation, HP SiteScope, System Availability Management, TransactionVision und HP Universal CMDB software, eine Konfigurationsmanagement-Datenbank für Projekte basiert auf ITIL. Das HP Data Center Automation Center besteht aus Business Service Automation Essentials, Network Automation, Server Automation, Service Automation Reporter, Service Automation Visualizer, Storage Essentials, Operations Orchestration und Release Control Software. Das HP Network Management Center besteht aus den folgenden Produkten, die vorher unter die HP OpenView Marke verkauft wurden: Network Node Manager, 3 / 21

5 Allgemein Programmteile Performance Insight, TeMIP, Report Pack for Cisco Wireless LAN Pack, und Report Pack for Radius Call Detail v 1.3. Der HP Operations Center Katalog umfasst viele Produkte, die vor der Akquisition durch Opsware entwickelt wurden: Discovery and Dependency Mapping, GlancePlus Pak,Operations Dashboard, Operations Manager Dependency Mapping Automation, Operations Manager i 8.0, Operations Smart Plug-ins, Performance Manager, Reporter, SiteScope, und HP Universal CMDB. Das HP Performance Center besteht aus vier Produkten, die durch einer Akquisition von Mercury Interactive geschafft wurden: Center Management for Performance Center, HP Diagnostics, HP LoadRunner Monitors, and HP LoadRunner. Das HP Project and Portfolio Management Center (PPM) besteht aus neun Produkten, viele von diesen wurden wieder aus der Mercury Interactive Ackquisition gewonnen: HP Deployment Management Module, Discovery and Dependency Mapping Software, PPM Demand Management Module, PPM Financial Management Module, PPM Portfolio Management Module, PPM Program Management Module, PPM Project Management Module, PPM Resource Management Module, und PPM Time Management Module. Das HP Quality Center umfasst HP Business Process Testing, Center Management for Quality Center Software, Change Impact Testing for SAP Applications, HP Functional Testing Software, QuickTest Professional, Requirements Management Module, Service Test Management Module for SOA, Service Test und HP WinRunner Software. Das HP SOA Center beinhaltet SOA Governance Interoperability Framework, SOA Policy Enforcer, SOA Registry Foundation, SOA Systinet und HP Universal CMDB Software. Das HP Service Management Center umfasst Asset Manager, HP Connect-It Software, DecisionCenter, und Service Manager Software Programmteile HP LoadRunner besteht aus den folgenden Applikationen: Der VU Generator ist eine Applikation, die Virtuellen User (VU, virtuelle Benutzer) generiert. Virtuelle User sind in der Regel Skripte, die das Verhalten von realen Benutzern imitieren. Dieses User-Verhalten, das generell typische Business-Prozesse reflektiert, kann durch den VU Generator direkt aus der getesteten Applikation aufgezeichnet werden. Danach ermöglicht der VU Generator natürlich auch das individuelle Anpassen der Skripte. Der Controller ist die Steuerzentrale der Lasttests. Er ermöglicht die Erstellung, Planung und Durchführung von Tests. Nicht immer kann die zu simulierende Last von einem Rechner alleine erzeugt werden. Abhilfe bietet dabei der Load Generator. Das ist ein kleines Programm, das als Agent auf verschiedenen Rechnern läuft und dem Controller bei der Simulation der Last unterstützt. Der Controller übernimmt dabei die Funktion einer zentralen Steuereinheit über mehrere Load Generators. Die Analysis-Applikation ist ein Werkzeug, das dem Tester ermöglicht, alle Ergebnisse grafisch und tabellarisch aufzubereiten, sowie auch diese Ergebnisse zu analysieren, um die Schwachpunkte des getesteten Systems herauszufinden. 4 / 21

6 Allgemein Einführung Die Monitore sind keine eigenständigen Applikationen, sondern nur optionale Module, die von den Controllern verwendet werden. Jedes Monitor-Modul spezialisiert sich auf eine Systemkomponente, die während der Testdurchführung beobachtet werden kann. Die Monitore werden beim Teststart aktiviert und ermitteln zusätzliche Informationen über die Auslastung und Leistung einzelner Systemkomponenten Einführung Das vorgestellte Werkzeug HP LoadRunner hat im Lasttestbereich eine besondere Stellung, denn es ist schon lange Zeit der Marktführer mit etwa 77% Marktanteil 1. Der Behauptung des Herstellers zu Folge, liegen die größten Vorteile im Vergleich zu den anderen Werkzeugen in der einfacheren Testfallentwicklung und besser ausgearbeiteter Ergebnisanalyse. HP bietet eine 10-Tage-Trialversion des Werkzeugs zur Evaluierung, die eine Begrenzung der maximalen Anzahl von virtuellen Usern auf 25 Benutzer besitzt. Die Dokumentation ist sehr umfangreich. Zu jeder Applikation gibt es eine detaillierte Dokumentations-Datei (PDF). Zusätzlich kann man auch eine Hilfe direkt in den Applikationen benutzen diese ist als klassische Windows-Hilfe gestaltet. 1 Im Jahr 2007, Quelle: 5 / 21

7 Testspezifikation Unterstützte Schnittstellen und Umgebungen 2. Testspezifikation 2.1. Unterstützte Schnittstellen und Umgebungen HP LoadRunner ist ein Werkzeug mit einer großen Vielfalt an unterstützten Protokollen und Umgebungen. Hier die komplette Auflistung: Adobe Action Message Format (AMF v3) Palm Adobe Real-time Messaging Protocol (RTMP) PeopleSoft Enterprise Adobe Flex 2 and Flex 3 PeopleSoft-Tuxedo Ajax Post Office Protocol (POP3) NET Template Open Database Connectivity (ODBC) NET Template Oracle (2-Tier) C Vuser Oracle NCA Citrix ICA and XenApp v4.5 Oracle Web Applications R12 COM/DCOM RealPlayer CORBA TM -Java TM Remote Terminal Emulation (RTE) DB2 CLI Rich Internet Applications (RIA) Domain Name System (DNS) RMI-JavaTM Enterprise JavaBeans (EJB) SAP File Transfer Protocol (FTP) SAPGUI HP WinRunner software SAPGUI/SAP-Web Dual Protocol HP QuickTest Professional software SAP-Web Internet Message Access Protocol (IMAP) Service Oriented Architecture (SOA) Jacada Sybase DBLib JavaTM Vuser Siebel-Web Javascript Vuser Simple Mail Transfer Protocol (SMTP) JavaTM Message Service (JMS) Sybase CTLib Lightweight Directory Access Protocol (LDAP) Tuxedo 6, 7 Microsoft Windows Sockets VB.NET Template Microsoft.NET 2.0, 3.0, 3.5 VBNet Vuser Microsoft SQL Server Informix VB Script Vuser Microsoft Remote Desktop Protocol (RDP) VB Vuser Microsoft Exchange (MAPI) Web (HTTP/HTML) Microsoft Windows Media Player (MMS) Web Services MQSeries-Client Web & Multimedia MQSeries-Server Wireless Application Protocol (WAP) Multimedia Messaging Service (MMS) 2.2. Testfallbeschreibung Die Testfallbeschreibung ist in LoadRunner auf zwei Applikationen aufgeteilt: VU Generator und Controller. Generell kann man sagen, dass der VU Generator für die detaillierte 6 / 21

8 Testspezifikation Testfallbeschreibung Programmierung der virtuellen User benötigt wird und mit dem Controller steuert man den Test auf einer höheren Ebene, z. B. die Repräsentation von virtuellen User im Test oder die Anzahl von VUs während des Testverlaufs. Die Erstellung eines Skripts im VU Generator erfolgt nach diesem Vorgang: Auswahl des verwendeten Protokolls Aufzeichnung des Basis-Scripts Automatische und manuelle Überprüfung des Scripts Anpassen des Scripts (siehe unten) Konfiguration der Laufzeitoptionen Durchführung des Scripts im Standalone-Mode Die Protokollauswahl erfolgt gleich nach dem Start des VU Generators. Sollte das Kommunikationsprotokoll unbekannt sein, bietet der VU Generator einen Protocol Advisor. Dieses Werkzeug besitzt die Fähigkeit, Applikationen zu analysieren und die verwendeten Kommunikationsprotokolle festzustellen. Abbildung 1: Protocol Advisor Analyseergebnis Während der Benutzer mit einer Applikation arbeitet, zeichnet HP LoadRunner den daraus resultierenden Datenstrom über die zuvor festgelegten Protokolle auf. Das Ergebnis der Aufzeichnung wird in einem Skript gespeichert. Implizit ist die Sprache der Skripts auf C gesetzt, es gibt aber auch die Möglichkeit Java oder Visual Basic zu benutzen. Interessant ist, dass auch Tests in LoadRunner gemacht werden können, die als Testschnittstelle graphische Benutzeroberflächen verwenden. Dazu muss man jedoch die Testautomatisierungswerkzeuge HP WinRunner bzw. HP QuickTest Professional verwenden. Nach der Aufzeichnung werden die Scripts normalerweise angepasst und ausgeführt. Während dieser Ausführung erkennt LoadRunner automatisch Fehler und Variablenwerte (üblicherweise in LoadRunner als Correlations bezeichnet). Es gibt außerdem noch eine zweite Möglichkeit Correlations zu finden, nämlich durch manuelles Vergleichen der Ergebnisse. Diese Funktion heißt in LoadRunner Content Check (siehe Kapitel 2.4. Überprüfungen). 7 / 21

9 Thank you very much for downloading a public preview of our well known and highly appreciated tool studies. If you re interested in reading the whole document just apply here and request the document you want to read from our comprehensive set of studies already available. For further information on our tool studies visit our web site. Or, you can always use the following form to request the studies you want to read. Seite 1 von 2

10 Bestellformular für Tool-Studien/Order form for tool studies An/to Software Quality Lab GmbH Gewerbepark Urfahr Linz AUSTRIA Bitte ausgefüllt per an/ Please fill out and send to info@software-quality-lab.com Name/full name: Adresse/address: Firma/company: / Funktion/role: Telefon/phone: / [bitte füllen Sie die Daten vollständig und korrekt aus/please supply correct and complete data] Bestellliste/Order list [bitte kreuzen Sie die gewünschten Tools an/please select the tool studies] ALM, RM IBM Rational Requirements Composer Jama Contour 3.61 NEU! Micro Focus Borland Caliber Microsoft Team Foundation Server 2013 Polarion ALM 2014 HP ALM 11 VersioneOne 13.0 Visure Solutions IRQA 4 Test Management Imbus TestBench Micro Focus SilkCentral 2008 Microsoft VSTS 2010 Mozilla Testopia 2.1 Orcanos QPack 5 Polarion ALM NEU! Siemens SiTEMPPO 5.8 TestLink Seapine TestTrack 2012 Static Code Analysis SonarQube 4.5 GUI Test Automation Appium Bredex GUIdancer 4.2 HP UFT Professional 10 IBM Functional Tester Microsoft VSTS 2010 QF-Test NEU! Ranorex 3.3 SAP ecatt Selenium 2.0 SmartBear TestComplete 9.3 SmartBear SoapUI 5.1 Weitere Informationen auf unserer Website Embedded Systems LDRA 8.0 Razorcat Tessy 2.6 Load/Performance Apache JMeter 2.8 Grinder 3.4 HP LoadRunner 9.5 Neotys Neoload SmartBear LoadUI Unit Tests Google Test 1.5 JUnit 4.11 NUnit Die Toolnamen und eingetragenen Warenzeichen sind Eigentum der jeweiligen Toolhersteller/Tool names are property of tool vendors. Die Studien sind grundsätzlich auf Anfrage frei erhältlich. Software Quality Lab behält sich jedoch vor, die Aufwände für gewisse Branchen und Privatpersonen in Rechnung zu stellen (z.b. Beratungsfirmen, Toolhersteller usw.) Studenten erhalten die Studie zum halben Preis/All studies are basically free, except for certain branches of industry or private persons, for whom we invoice at cost. Students get a discount of 50%. Seite 2 von 2

11 Tool Evaluation Center Efficient, goal-oriented and professional tool evaluation Unique in Europe What is TEC? The Tool Evaluation Center (TEC) is a neutral environment for evaluating software tools related to software development, through which you will receive a detailed, vendorindependent overview of the suitability of different tools for your software projects. Your Partner for software quality and testing Consulting Implementation Training Automation Evaluation Software Quality Lab is your competent partner in software quality and testing and one of the leading independent consulting companies in Austria. We specialize ourselves in the improvement of efficiency, quality and security in the fields of software development and system processes. All tools in TEC are up to date, installed and configured, furnished with examples and ready for demonstration. Practical work and getting to know the tools in a handson manner is also possible. Your Benefit EETime-saving: Tool selection in a few days. No time-consuming research and product requests, no installation and testing. EEPreparation of information for different target groups from technicians to the managing board. EESupport provided by specialists, ranging from requirements through to a proof of concept or a pilot project. Our services around the tool selection Tool categories in the TEC EEApplication Life Cycle Management EERequirements Management EETest Management EEGUI Test Automation EETest Data Management EEComprehensible decision criteria: Using special techniques we evaluate the tools together with you, basing on your requirements as a foundation for your investment decision. EELarge selection and direct comparison of products ranging from market leaders through newcomers to open source software and freeware. Linz / Vienna / Graz / Lustenau / Munich Requirements elicitation, Creating a list of criteria Tool review, Pre-selection of tools, Practical getting to know the tools in the TEC Workshop with 3-5 suitable tools, Proof of Concept, Planning and implementing the pilot project Integration with other tools Tools in TEC Our TEC includes more then 40 installed tools from reputable manufacturer (e.g. IBM, HP, Micro Focus, Microsoft, Polarion, Siemens) as well as interesting newcomer products and alternatives from the open source area (e.g. JMeter, Selenium). Further details can be found at V Software Quality Lab GmbH info@software-quality-lab.com