Webtests und JMeter. Technologien: Überblick Funktionale Tests: Simplelenium Performance Messungen: JMeter Projekt Setup: Gradle, Jenkins

Transkript

1 Webtests und JMeter Technologien: Überblick Funktionale Tests: Simplelenium Performance Messungen: JMeter Projekt Setup: Gradle, Jenkins Raimond Reichert

2 Webtests: Motivation Erhöhte Regress-Sicherheit

3 Technologien: Überblick

4 Technologien Überblick JUnit JMeter Unsere Webtests Simplelenium Selenium PhantomJs

5 Technologien: PhantomJs «Full web stack w/o browser» "PhantomJS is a headless WebKit scriptable with a JavaScript API. It has fast and native support for various web standards: DOM handling, CSS selector,..." var page = require('webpage').create(); page.open(' function(status) { console.log("status: " + status); if (status === "success") { page.render('example.png'); } phantom.exit(); }); // run with phantomjs example.js phantomjs.org

6 Technologien: Selenium «Selenium automates browsers» "WebDriver is the key interface against which tests should be written [...] ChromeDriver, FirefoxDriver, InternetExplorerDriver, PhantomJSDriver,..." WebDriver driver = new FirefoxDriver(); driver.navigate().to(" WebElement element = driver.findelement(by.name("q")); element.sendkeys("cheese!"); element.submit(); System.out.println("Page title is: " + driver.gettitle()); (new WebDriverWait(driver, 10)).until(new ExpectedCondition<Boolean>() { public Boolean apply(webdriver d) { return d.gettitle().tolowercase().startswith("cheese!"); } }); System.out.println("Page title is: " + driver.gettitle()); driver.quit();

7 Technologien: Simplelenium «Simple layer on top of Selenium» Ein Fluent Layer über Selenium, in Java 8 PhantomJs wird automatisch installiert Immer noch «work in progress» public class QuickStartTest extends SeleniumTest public void web_driver_site() { goto(" find("#q").fill("staleelementreferenceexceptions"); find("#submit").click(); } } find("a.gs title").should().havemoreitemsthan(5).contain("issue 1887 selenium Element not found in the cache").not().contain("selenium Rocks!");

8 Technologien: Simplelenium Finders and Verifacations Finders: Element-Suche via Selektor Verifications: Chainable Assertions für Test find("cssselector") find(org.openqa.selenium.by) find(".name").should().beempty() find(".name").should().beselected() find(".name").should().match(pattern.compile("regexp")); find(".name").should().havemoreitemsthan(min); //... find(".name").should().contain("a word").contain("anything").beselected().not().bedisplayed(); github.com/dgageot/simplelenium

9 Technologien: Simplelenium Narrowing Search find("...").withtext().beingempty().should()...; find("...").withtext().containing("text").should()...; find("...").withname().startingwith("text").should()...; find("...").withid().equalto("text").should()...; find("...").withtagname().equalto("h1").should()...; find("...").withclass().containingword("blue").should()...; find("...").withcssvalue("color").not().endingwith("grey").should()...; find("...").withtext().startswith("prefix").endingwith("suffix").should()...; //... github.com/dgageot/simplelenium

10 Technologien: Simplelenium Narrowing Search: Performanz? Achtung: Suchen mit Einschränkungen kann ineffizient sein: find("span").withtext().contains(text) // Suche Simplelenium Style, dauert ca. 10s auf komplexer Seite find(byxpath(string.format("(//span[contains(text(), '%s')])[1]", text))); // XPath für Suche, dauert < 1s auf komplexer Seite github.com/dgageot/simplelenium

11 Technologien: Simplelenium Finders and Verifacations The way Simplelenium deals with timing issue: It tries to make the search Then the verification If it passes, then we're cool If not, it tries again immediately with a new search to avoid Staled elements It does so for at least 5 seconds github.com/dgageot/simplelenium

12 Technologien: Simplelenium Actions: interact with the page find("...").fill("name"); find("...").submit(); find("...").click(); find("...").pressreturn(); find("...").sendkeys("a", "B", "C"); find("...").clear(); find("...").doubleclick(); find("...").contextclick(); find("...").release(); //... find("...").select("text"); find("...").deselect(); //... github.com/dgageot/simplelenium

13 Technologien: Simplelenium Limitations Support anything else than PhantomJS Support alerts, iframes and windows We need iframes for dialoges... Reading properties from web elements We need to read IDs to go to detail pages... github.com/dgageot/simplelenium

14 Technologien: JMeter «load test functional behavior» Testpläne beschreiben den Testablauf: ThreadGroup: In wie vielen Threads soll Sampler wie oft wiederholt werden. Sampler: Request, dessen Laufzeit gemessen werden soll: HTTP Request, SOAP Request u.a. Mit dem Java Request wird eine Implementation des Interfaces JavaSamplerClient ausgeführt. Listener: Sammeln die Daten der Samplers. jmeter.apache.org

15 Funktionale Tests: Simplelenium

16 Funktionale Tests: Simplelenium Beispiel eines Tests run(optional<sampleresult>): JMeter-Schnittstelle goto(pageobject): Lädt entsprechende Seite takesnapshot(navigation, String): Speichert public class OrderTrackingUseCase extends EnhancedSeleniumTest implements SamplingRunnable public void run(optional<sampleresult> parentsampleresult) { goto(loginpageobject); takesnapshot( loginpageobject.loginifneccessary(...), "1_logged_in"); goto(switchcustomerpageobject); takesnapshot( switchcustomerpageobject.change(customer_name), "2_changed_customer");

17 Funktionale Tests: Simplelenium Beispiel eines Tests addsample(...): Fügt Messwert hinzu (psr) -> Navigation: Zu messender Methoden-Aufruf addsample( parentsampleresult, "load order tracking overview page", (psr) > takesnapshot(goto(overviewpageobject), "3_order_tracking")); } overviewpageobject.verifycolumns("rang", "Status",...).verifyRowsSize(10); }

18 Funktionale Tests: Simplelenium Page Objects für «Fluent Tests» EnhancedPageObject: Simplelenium-Erweiterungen Url: Jedes PageObject muss eine URL haben public class OverviewPageObject implements EnhancedPageObject { /* nur Auszug */ private final String url; public OverviewPageObject(String url) { this.url = url; public String url() { return getapplicationurl(url); }

19 Funktionale Tests: Simplelenium Page Objects für «Fluent Tests» XPath: Häufig ein guter Helfer aber leider nicht immer robust private static final String FIRST_TR_CONTEXT_MENU_LINK_XPATH = "//div[@id=\"%s\"]//tr[1]//td[last()]//"+ "a[@class=\"load table menu dynamic\"]"; public OverviewPageObject opencontextmenuforfirsttablerow( String divcontainingoverviewtableid) { } } findbyxpath(string.format( FIRST_TR_CONTEXT_MENU_LINK_XPATH, divcontainingoverviewtableid) ).click(); waitforajaxresponse(); return this;

20 Funktionale Tests: Simplelenium Interface EnhancedPageObject By: Selenium-Klasse für CSS-, XPath-Selektor u.a. /* Selector helper methods */ By byidendswith(string id) By byxpath(string xpath) By bylabelcontains(string text) By bylistitemcontains(string text) By bytablecellcontains(string text) By byelementcontains(string elementxpath, String text)

21 Funktionale Tests: Simplelenium Interface EnhancedPageObject DomElement: Simplelenium-Klasse für DOM-Element /* Simplelenium finder methods */ DomElement findbyidendswith(string id) DomElement findbyxpath(string xpath) DomElement findspancontaining(string text) DomElement findh1containing(string text) //...

22 Funktionale Tests: Simplelenium Interface EnhancedPageObject WebElement: Selenium-Klasse für DOM-Element Benötigt, wenn Simplelenium zu viel abstrahiert... /* Selenium finder methods */ WebElement findwebelementbyxpath(string xpath) WebElement findwebelement(by selector) List<WebElement> findwebelements(by selector) //...

23 Funktionale Tests: Simplelenium Interface EnhancedPageObject Warten in Variationen... /* Helper methods to wait for certain conditions */ void waitforajaxresponse() void waituntilelementispresent(final By selector) void waituntilelementisnotpresent(final By selector) void waitfor(expectedcondition<boolean> condition) //...

24 Funktionale Tests: Simplelenium Der Frust

25 Funktionale Tests: Simplelenium Der Frust

26 Funktionale Tests: Simplelenium EnhancedPageObject Code zur Erhöhung der Teststabilität: Verwendet Klassen im Package workarounds: workarounds.teststability.sleep(double seconds): workarounds.teststability.execute(runnable runnable)

27 Funktionale Tests: Simplelenium Annotation TestConfiguration Mit der Annotation TestConfiguration kann einem Test eine Priorität gegeben werden. Falls System Property onlyhighprioritytests gesetzt ist, lässt der SamplingTestRunner nur Tests mit Priority.HIGH laufen.

28 Funktionale Tests: Simplelenium Klasse Configuration Tests werden über System Properties (-Dkey=value) konfiguriert, siehe Kasse Configuration: protocol (default = http host (default = focke.ergon.ch) port (default = 8080) context (default = ordermgmt) screenshots (default = true) onlyhighprioritytests (default = false) Screenshots werden im Order snapshots gespeichert.

29 Performance Messungen: JMeter

30 Performance Messungen: JMeter Die wichtigsten Klassen

31 Performance Messungen: JMeter UseCaseJavaSamplerClient UseCaseJavaSamplerClient erstellt ein JMeter SampleResult für die gesamte Laufzeit des Use Cases. Die Use Cases können untergeordnete Messpunkte hinzufügen. public class UseCaseJavaSamplerClient extends AbstractJavaSamplerClient implements Serializable public SampleResult runtest(javasamplercontext javasamplercontext) { initializefromjmeterdefaultparameters(javasamplercontext); return sample(createusecase()); } } protected SamplingRunnable createusecase() { return (SamplingRunnable) execute( () > Class.forName(getUseCaseClassName()).newInstance() ); }

32 Performance Messungen: JMeter SamplingRunnable Ein Use Case ist für UseCaseJavaSamplerClient eine Implementation von SamplingRunnable: public interface SamplingRunnable { } void run(optional<sampleresult> parentsampleresult);

33 Performance Messungen: JMeter JMeter Testplan UseCaseJavaSamplerClient: Parametrisierbar SystemExitSamplerClient: Anders lassen sich die PhantomJs-Prozesse nicht abschiessen...

34 Performance Messungen: JMeter JMeter Testplan: Konfiguration Testpläne werden über System Properties konfiguriert, siehe build.gradle: usecaseclassname (default = NoopUseCase) threads (default = 1) rampup (default = 1) loopcount (default = 1)

35 Projekt Setup: Gradle, Jenkins

36 Gradle-Setup Zentrale Tasks Gradle-Wrapper gradlew ist im Projekt enthalten IntelliJ-Projekt erzeugen: gradlew idea Alle Webtests laufen lassen: gradlew test -Dhost=focke.ergon.ch -Dport=8080 JMeter "headless" für einen Use Case laufen lassen: gradlew jmeterusecase -Dhost=focke.ergon.ch -Dport=8080 -DuseCaseClassName=ch.ergon.webtest.usecases.FactoryUseCase -Dthreads=1 -Drampup=1 -DloopCount=1

37 Gradle-Setup Task «jmeterusecase» Installiert lokal im build-verzeichnis JMeter. Erzeugt "fat jar" des Webtests-Projekts für <jmeter>/lib/ext. Output sind drei JMeter-XML mit Sample Results: Alle Samples mit Subsamples: Orginal-Daten Erfolgreiche Samples mit Subsamples: Totale Laufzeit ohne Verfälschung durch nicht-erfolgreiche Samples Erfolgreiche Subsamples der erfolgreichen Samples: Laufzeit der explizit definierten Messpunkte

38 Jenkins-Setup Zentrale Jobs JUnit-Tests: *.webtest Checkstyle, FindBugs: *.webtest-checkin-build-n-audit Performance Messungen via JMeter: *.webtest.perftest Ohne Suffix: Verwendung von Master Suffix -*-9.0 etc. für entsprechenden Release

39 Jenkins-Setup Performance Messungen: Grafiken Antwortzeiten aller Resultate: WizardIpTelefonUseCase-10-users-1-loops.xml

40 Jenkins-Setup Performance Messungen: Grafiken Fehlerquote aller Resultate: WizardIpTelefonUseCase-10-users-1-loops.xml

41 Jenkins-Setup Performance Messungen: Grafiken Antwortzeiten der erfolgreichen Resultate: WizardIpTelefonUseCase-10-users-1-loops.success.xml

42 Jenkins-Setup Performance Messungen: Grafiken Antwortzeiten der erfolgreichen Subsamples: WizardIpTelefonUseCase-10-users-1-loops.success.subsamples.xml

43