Test von Oberflächen. 6. Test von Software mit Nutzungsoberflächen. Erinnerung: GUI-Aufbau mit Swing. Achtung: Swing und Threads

Transkript

1 6. Test von Software mit Nutzungsoberflächen Ansätze zum Oberflächentest Erinnerung: GUI-Aufbau mit Swing Einführung in FEST Systematische Nutzung von FEST Teststrategien Capture& Replay Vorstellung von Marathon Kurzvorstellung Selenium Test von Oberflächen Grundsätzlich sind Oberflächen gewöhnliche SW-Module und können wie diese getestet werden Variante 1: Direkte Ausführung von GUI-Aktionenüber Testsoftware Allerdings: Für xunit-werkzeugeist der Zugriff auf Oberflächen teilweise schwierig (xunitmuss auf Oberflächenkomponenten zugreifen und diese bedienen können, JButton in Java hat z.b. Methode doclick()) folgende Folien: FEST (FixturesforEasy Software Testing, hier GUI-Anteil Variante 2: Das Werkzeug zeichnet alle Mausbewegungen und Tastatureingaben auf, die können dann zur Testwiederholung erneut abgespielt werden (später) Software-Qualität Stephan Kleuker 190 Software-Qualität Stephan Kleuker 191 Erinnerung: GUI-Aufbau mit Swing Viele elementare GUI-Bausteine(JLabel, JButton, JSlider, JTable, JColorChooser,...) Bausteine werden in GUI-Komponenten zusammengefasst Zusammenfassung typisch in JPanel Jede Zusammenfassung hat LayoutManager, der Anordnung der einzelnen Komponenten berechnet Komponenten können in Komponenten geschachtelt werden; äußere Komponente hat wieder LayoutManager konsequentes Schachtel-in-Schachtel-Prinzip GUI-Bausteinnutzt Model-Delegate-Prinzip; zu jeder Komponente gibt es Model-Objekt, dass Eigenschaften speichert GUI-Bausteine mit vielen get-/set-methoden konfigurierbar Achtung: Swing und Threads Swing-Objekte wie JFrame-Objektekönnen direkt gestartet werden Event-Verwaltung findet in unabhängigen Prozessen statt (genauer: Threads-> Betriebssysteme) Problem: Komponenten reden mit noch nicht erzeugten Komponenten ( -> NullPointerException) javax.swing.swingutilities.invokelater(new Runnable() { public void run() { new MeineGUI(); ); Software-Qualität Stephan Kleuker 192 Software-Qualität Stephan Kleuker 193

2 Minibeispiel: Klickzähler (1/3) Zählt Links- und Rechtsklicks des Knopfes Für Test notwendig (bzw. sehr sinnvoll), GUI-Elemente haben Namen JFrame GridLayout(0,2) JFrame JButton JPanel JLabel JLabel JButton klick JLabel links JLabel rechts GUI immer hierarchisch organisiert JPanel GridLayout(0,2) Software-Qualität Stephan Kleuker 194 Minibeispiel: Klickzähler (2/3) public class Klicker extends JFrame implements MouseListener{ private JButton klick = new JButton("klick misch"); private JLabel links = new JLabel("0"); private JLabel rechts = new JLabel("0"); public Klicker(){ setlayout(new GridLayout(0,2)); setname("klicker"); JPanel tmp = new JPanel(); tmp.setlayout(new GridLayout(0,2)); tmp.add(links); links.setname("links"); tmp.add(rechts); rechts.setname("rechts"); add(klick); klick.setname("klick"); klick.addmouselistener(this); add(tmp); pack(); setvisible(true); Software-Qualität Stephan Kleuker 195 Minibeispiel: Klickzähler (3/3) public static void main(string[] args) { javax.swing.swingutilities.invokelater(new Runnable() { public void run() { new Klicker(); public void mouseclicked(mouseevent e) { JLabel ziel=null; if(e.getbutton()==1) ziel=links; else if(e.getbutton()==3) ziel=rechts; if(ziel!=null) public void mouseentered(mouseevent arg0) public void mouseexited(mouseevent arg0) public void mousepressed(mouseevent arg0) public void mousereleased(mouseevent arg0) { Software-Qualität Stephan Kleuker 196 Test des Minibeispiels (1/3) public class KlickerTest { private FrameFixture public static void setuponce() { // für Event-Verwaltung public void setup() { // für Event-Verwaltung Klicker k = GuiActionRunner.execute( new GuiQuery<Klicker>() { protected Klicker executeinedt() { return new Klicker(); ); gui = new FrameFixture(k); // gui.robot.settings().delaybetweenevents(3000); // gui.show(); // nicht immer erforderlich Software-Qualität Stephan Kleuker 197

3 Test des Minibeispiels public void teardown() { gui.cleanup(); public void testeinlinksklick(){ gui.button("klick").click(); Assert.assertEquals(gui.label("links").text(), "1"); Assert.assertEquals(gui.label("rechts").text(), "0"); public void testrechtsklick(){ gui.button("klick").click(mousebutton.right_button); Assert.assertEquals(gui.label("links").text(), "0"); Assert.assertEquals(gui.label("rechts").text(), "1"); Software-Qualität Stephan Kleuker 198 Test des Minibeispiels (3/3) public void testkeinelinksundrechtsklicks(){ gui.button("klick").click(mousebutton.middle_button); gui.button("klick").pressandreleasekey( KeyPressInfo.keyCode(KeyEvent.VK_C)); Assert.assertEquals(gui.label("links").text(), "0"); Assert.assertEquals(gui.label("rechts").text(), "0"); public void testvielelinksundrechtsklicks(){ gui.button("klick").doubleclick(); gui.button("klick").pressandreleasekey( KeyPressInfo.keyCode(KeyEvent.VK_SPACE)); for(int i=0;i<10;i++) gui.button("klick").click(mousebutton.right_button); Assert.assertEquals(gui.label("links").text(), "2"); Assert.assertEquals(gui.label("rechts").text(), "10"); Software-Qualität Stephan Kleuker 199 Analyse des Minibeispiels Einiger konstanter Aufwand um Eventverwaltung zu organisieren einfacher Zugriff auf GUI-Elemente wg. setname(.)-werten FrameFixture-Objekterlaubt Zugriff auf (fast) alle Arten von GUI-Elementen, die über Namen identifiziert werden gui.button("klick") Jedes Fixture-Objektbietet (fast) alle Möglichkeiten zur Bedienung an click(mousebutton.middle_button); Fixture-Objektehaben Methoden zur Eigenschaftsabfrage gui.label("rechts").text() Fest und JUnit 4 - Installation benötigte Bibliotheken (bei fest-swingmitgeliefert) Software-Qualität Stephan Kleuker 200 Software-Qualität Stephan Kleuker 201

4 FEST erkennt Probleme: Schreipfehler gui.button("klack").click(mousebutton.right_button); FEST erkennt Probleme: nicht sichtbarer Knopf (1/2) public class Tapps extends JFrame { public Tapps(){ JTabbedPane jt = new JTabbedPane(); jt.setname("tabbed"); for(int i=1;i<=3;i++){ JButton jb= new JButton("Tubbi "+i); jb.setname("tub"+i); jt.add(jb); add(jt); pack(); setvisible(true); Software-Qualität Stephan Kleuker 202 Software-Qualität Stephan Kleuker 203 FEST erkennt Probleme: nicht sichtbarer Knopf (2/2) public void testtabwechsel(){ gui.tabbedpane("tabbed").selecttab("tub2"); gui.button("tub2").rightclick(); public void testtabwechsel2(){ gui.tabbedpane("tabbed").selecttab("tub3"); gui.button("tub2").rightclick(); Beispiel systematische FEST-Nutzung(1/3) GUI planen; festlegen der GUI-Elemente und ihrer Namen Beispiel Tarifzonen-Berechnung JTextField zonen JComboBox alter JRadioButton billiguhr JRadioButton teueruhr JCheckBox zumbetrieb JButton berechnen JTextArea preis Entwickler der Tests müssen weitere Implementierungsdetails nicht kennen (black box) Software-Qualität Stephan Kleuker 204 Software-Qualität Stephan Kleuker 205

5 Beispiel systematische FEST-Nutzung(2/3) public void testeinezone() { gui.textbox("zonen").entertext("1"); gui.button("berechnen").click(); Assert.assertEquals(gui.textBox("preis").text(), "90 Cent"); public void testalter45() { gui.textbox("zonen").entertext("3"); gui.combobox("alter").selectitem("14-64"); gui.button("berechnen").click(); Assert.assertEquals(gui.textBox("preis").text(), "390 Cent"); Beispiel systematische FEST-Nutzung(3/3) public void testrentnervormittagsimbetrieb() { // gui.robot.settings().delaybetweenevents(3000); gui.textbox("zonen").entertext("5"); gui.combobox("alter").selectitem("über 64"); gui.radiobutton("billiguhr").click(); gui.checkbox("zumbetrieb").click(); gui.button("berechnen").click(); Assert.assertEquals(gui.textBox("preis").text(), "305 Cent"); Software-Qualität Stephan Kleuker 206 Software-Qualität Stephan Kleuker 207 Wann was Testen (1/2) Generelle Frage nach der Teststrategie bottom-up zunächst elementare Klassen, dann Klassen die darauf aufbauen nur Zusammenspiel der getesteten Objekte testen bringt sehr hohe Überdeckung, aber sehr hohen Aufwand top-down Tests von oben, typisch über Oberfläche ausführen benötigt stabiles GUI für Testwiederholung vermeintlich weniger Aufwand, weniger Expertise häufig sehr geringe Testabdeckung Software-Qualität Stephan Kleuker 208 Wann was Testen (2/2) middle-out Tests setzen auf kleinen Gruppen von Klassen auf GUI-Tests testen Verbindungen zu Gruppen erbt anteilig Vor- und Nachteile der anderen Ansätze Variante zunächst Tests über GUI durchführen und Überdeckung messen Klassen die unter xx% überdeckt werden, dann in Richtung Überdeckungsgrenze genauer analysieren generell hängt Test-Strategie von Projektart, vorhandenen Werkzeugen und vorhandenem Know-how ab Software-Qualität Stephan Kleuker 209

6 GUI-Elementsuche auch ohne setname Generell können Matcher eingesetzt werden, mit denen die nutzende GUI-Komponente bestimmt werden kann public void testeinezone2() { gui.textbox(jtextcomponentmatcher.withname("zonen").andtext("0")).deletetext(); gui.textbox("zonen").entertext("1"); GenericTypeMatcher<JButton> textmatcher = new GenericTypeMatcher<JButton>(JButton.class) protected boolean ismatching(jbutton button) { return "Berechnen".equals(button.getText()); ; gui.button(textmatcher).click(); Assert.assertEquals(gui.textBox("preis").text(), "90 Cent"); Start von Programmen über main(1/2) statt Objekt direkt zu nutzen, kann auch Programmstart über main genutzt und Fenster später gesucht werden public static void main(final String[] args) { javax.swing.swingutilities.invokelater(new Runnable() { public void run() { Klicker k= new Klicker(); if (args.length>0) k.settitle(args[0]); ); Software-Qualität Stephan Kleuker 210 Software-Qualität Stephan Kleuker 211 Start von Programmen über main(2/2) public void testeinlinksklick2(){ ApplicationLauncher.application("klicker.Klicker").withArgs("Hai","Wo").start(); FrameFixture frame = WindowFinder.findFrame( new GenericTypeMatcher<JFrame>(JFrame.class) { protected boolean ismatching(jframe frame) { return "Hai".equals(frame.getTitle()) && frame.isshowing(); ).using(gui.robot); frame.button("klick").click(); Assert.assertEquals(frame.label("links").text(), "1"); Assert.assertEquals(frame.label("rechts").text(), "0"); Fotos von Fehlersituationen (1/2) Weitere Bibliotheken public class KlickerTest { // wie sonst public void testeinlinksklickmitmacke(){ gui.button("klick").click(); Assert.assertEquals(gui.label("links").text(), "1"); Assert.assertEquals(gui.label("rechts").text(), "1"); Software-Qualität Stephan Kleuker 212 Software-Qualität Stephan Kleuker 213

7 Fotos von Fehlersituationen (2/2) Werkzeug macht Screenshot(des gesamten Bildschirms) Variante: Bildschirmfotos erstellen lassen auch für einzelne Komponenten möglich public void testmachscreenshot(){ ScreenshotTaker st= new ScreenshotTaker(); gui.button("klick").rightclick(); st.savedesktopaspng("rechtsklick.png"); Assert.assertEquals(gui.label("rechts").text(), "1"); Software-Qualität Stephan Kleuker 214 Software-Qualität Stephan Kleuker 215 Kritische Analyse von Fest Vorteile relativ einfache Programmierung; Zugang sehr intuitiv Tests können ohne weitere Werkzeuge in JUnit umgesetzt werden leichte GUI-Änderungen(Layout) benötigen keine Teständerungen Nachteile Entwickler müssen konsequent setname() nutzen (okmit Coding-Guidelines) Testentwicklung bei Capture & Replay schneller Tester müssen Java können generelles zentrales Problem: Änderungen des GUIs können zu aufwändigen Teständerungen führen Capture & Replay Variante 2: Grundidee: Das Werkzeug zeichnet alle Mausbewegungen und Tastatureingaben auf, die können dann zur Testwiederholung erneut abgespielt werden Typisch ist, dass der Nutzer die aufgezeichneten Skripte modifizieren kann (z. B. Test von berechneten Daten) Tools können teilweise auch Oberfläche lesen (Frage ob Texte richtig ausgegeben), Snapshots vergleichen professionelle Beispiele: Winrunnervon HP (früher Mercury), VisualTest von IBM-Rational Software-Qualität Stephan Kleuker 216 Software-Qualität Stephan Kleuker 217

8 Kurzvorstellung Marathon Marathon-Beispiel (1/6) - Projektkonfiguration Open Source: Marathon erlaubt die Aufzeichnung und Wiedergabe von Swing-, AWT- und Applet-basierten Oberflächen Aufzeichnungen erfolgen in Skriptsprache (Jython, JRuby) Zusicherungen und weitere Analysen werden ebenfalls in dieser Skriptsprache ergänzt Werkzeug erlaubt Erstellung einfacher Zusicherungen ohne Skriptsprachenkenntnisse Software-Qualität Stephan Kleuker 218 Software-Qualität Stephan Kleuker 219 Marathon-Beispiel (2/6) Start einer Aufnahme Marathon-Beispiel (3/6) - Aufnahme Aufnahme immer hier beenden Software-Qualität Stephan Kleuker 220 Software-Qualität Stephan Kleuker 221

9 Marathon-Beispiel (4/6) resultierendes Skript Zusicherung manuell ergänzt assert_p('<name des GUI-Elements>', '<Property>', '<erwarteter Wert>') Property aus Java-Bean(mit getund set bearbeitbar) Marathon-Beispiel (5/6) Ausführen des Skripts falls zu testendes Programm noch läuft, immer über diesen Knopf beenden Software-Qualität Stephan Kleuker 222 Software-Qualität Stephan Kleuker 223 Marathon-Beispiel (6/6) Aufnahme mit Zusicherung während Aufnahme: Strg+Rechtsklickauf zu untersuchendes Element Weitere Marathon-Features Festlegung von Test-Fixtures, die beschreiben was vor und nach Tests immer ausführt werden soll Module, Programmstücke, die in andere Skripte eingebaut werden können und so eine Strukturierung der Testfälle ermöglichen Nutzung eines Debuggers, um ab einem Breakpointdie Ausführung Schritt für Schritt erfolgen zu lassen und ggfls. Objektwerte zu verändern Software-Qualität Stephan Kleuker 224 Software-Qualität Stephan Kleuker 225

10 Testen von Web-Applikationen - Selenium Selenium - Aufzeichnen Web-Browser nutzen schwerpunktsmäßightml zur Darstellung Capture& Replay-Werkzeuge, die hardgecodedpixel und Klicks verarbeiten, eignen sich meist auch für diese Programme Einfaches Werkzeug für Web-Applikationen und Firefoxist Selenium ( erlaubt Capture& Replay von Nutzereingaben ermöglicht Tests von Elementen erlaubt den Export der aufgezeichneten Tests u. a. in JUnit basiert auf JavaScript and Iframes Software-Qualität Stephan Kleuker 226 Software-Qualität Stephan Kleuker 227 Selenium - Zusicherungen Selenium - Einbindung in JUnit benötigt: Software-Qualität Stephan Kleuker 228 Software-Qualität Stephan Kleuker 229

11 Grenzen typischer Capture & Replay - Werkzeuge Aufzeichnungsprobleme möglich, da nicht alle Events sauber erkannt werden (zu viele, Pixelangabe ungenau) Gerade bei unterschiedlichen Web-Browsern kann es durch wenige Pixel zu Bedienproblemen kommen Reaktionszeiten von GUIs müssen beachtet werden Die Prüfung, ob Texte vollständig angezeigt werden, oder sich GUI-Elemente teilweise überlappen, ist oft nicht möglich Innovative, jetzt noch unbekannte Bedienelemente (z. B. Multi-Touch) werden meist noch nicht unterstützt Generell: Automatische Prüfung der Software-Ergonomie nicht möglich (-> Usability-Tests) Fazit GUI-Tests sind generell möglich GUI-Tests erst planen, wenn GUI relativ festgelegt ist Werkzeuge kritisch evaluieren, ob sie für Projekt bzw. typische Unternehmensaufgaben geeignet sind freie GUI-Werkzeuge können auf jeden Fall Einstieg in GUI- Testansätze sein Evaluation von kommerziellen Werkzeugen in diesem Bereich oft sinnvoll generell wird Teststrategie benötigt, was wann getestet wird (botton up, top down, middle out) Software-Qualität Stephan Kleuker 230 Software-Qualität Stephan Kleuker 231