aformatik Training & Consulting GmbH & Co. KG Eine Einführung in das automatisierte Testen mit dem Robot-Framework Thomas Gauss

Transkript

1 aformatik Training & Consulting GmbH & Co. KG 1 Eine Einführung in das automatisierte Testen mit dem Robot-Framework Thomas Gauss

2 Fahrplan Agenda aformatik Training & Consulting GmbH & Co. KG 2

3 Vorstellung des Robot-Frameworks Framework zur (automatischen) Durchführung von Akzeptanztests Keyword-Driven Testing generisch, modular und erweiterbar in aktiver Entwicklung (seit 2005) frei verfügbar umfangreich dokumentiert aformatik Training & Consulting GmbH & Co. KG 3

4 aformatik Training & Consulting GmbH & Co. KG 4 Einsatzzweck Unittest Integrationstest Systemtest Akzeptanztest

5 aformatik Training & Consulting GmbH & Co. KG 5 Einsatzzweck Unittest Integrationstest Systemtest Akzeptanztest

6 aformatik Training & Consulting GmbH & Co. KG 6 Test-Framework - Typen Linear Data-driven Keyword-driven Daten und Ablauf Daten Daten Ablauf Ablauf Framework Framework Framework System under Test System under Test System under Test

7 aformatik Training & Consulting GmbH & Co. KG 7 Test-Framework - Typen Linear Data-driven Keyword-driven Daten und Ablauf Daten Daten Ablauf Ablauf Framework Framework Framework System under Test System under Test System under Test

8 aformatik Training & Consulting GmbH & Co. KG 8 Keyword-Driven Testing Beschreibung eines Tests durch verständliche Anweisungen ( Keywords ) Tatsächliche (technische) Durchführung des Tests wird vom Framework übernommen Beispiel: Launch Application de.aformatik.jsf2015.sampleappstarter Select Main Window Push Button Ändere Titel Select Dialog Titel-Eingabe Insert Into TextField OptionPane.textField Herzlich willkommen beim... Push Button OK Select Main Window Push Button Wähle Bild Choose From File Chooser jfslogo.jpg

9 aformatik Training & Consulting GmbH & Co. KG 9 Testablauf Input Daten & Ablauf Robotframework

10 aformatik Training & Consulting GmbH & Co. KG 10 Testablauf Input Daten & Ablauf Robotframework

11 aformatik Training & Consulting GmbH & Co. KG 11 Testablauf Input Output Daten & Ablauf Robotframework Protokoll

12 Test-Protokoll aformatik Training & Consulting GmbH & Co. KG 12

13 Test-Protokoll aformatik Training & Consulting GmbH & Co. KG 13

14 aformatik Training & Consulting GmbH & Co. KG 14 Framework-Stack Daten & Ablauf Robotframework Protokoll

15 aformatik Training & Consulting GmbH & Co. KG 15 Framework-Stack Daten & Ablauf Keyword-Bibliotheken Robotframework Protokoll

16 aformatik Training & Consulting GmbH & Co. KG 16 Framework-Stack Daten & Ablauf Keyword-Bibliotheken Robotframework Protokoll (C)Python Python

17 aformatik Training & Consulting GmbH & Co. KG 17 Framework-Stack Daten & Ablauf Keyword-Bibliotheken Robotframework Protokoll Python (C)Python PyPy

18 aformatik Training & Consulting GmbH & Co. KG 18 Framework-Stack Daten & Ablauf Keyword-Bibliotheken Robotframework Protokoll Python (C)Python PyPy Jython Java

19 aformatik Training & Consulting GmbH & Co. KG 19 Framework-Stack Daten & Ablauf Keyword-Bibliotheken Robotframework Protokoll Python (C)Python PyPy Jython Java JVM

20 aformatik Training & Consulting GmbH & Co. KG 20 Framework-Stack Daten & Ablauf Keyword-Bibliotheken Robotframework Protokoll Python (C)Python PyPy Jython Java JVM

21 Generisch, modular und erweiterbar Framework kommuniziert über Benutzerschnittstelle mit dem zu testenden Programm (SUT System under Test ) Trennung von Test-Beschreibung, -Implementierung und -Daten Ergebnisausgabe auch als xml (für automat. Weiterverarbeitung) Eigene Bibliotheken einbindbar Framework ist freie Software aformatik Training & Consulting GmbH & Co. KG 21

22 Entwicklung seit 2005, Master-Arbeit von Pekka Klärck (geb. Laukkanen) Entwicklung wird unterstützt durch Nokia (Siemens) Networks Freie Software (Apache 2.0 Lizenz) Verteilt auf eigene Webseite, Github und (früher) Google Code Teilprojekte teils ausgelagert, teils eingegliedert Sprache: Python Umfangreiche Dokumentation zum Framework aformatik Training & Consulting GmbH & Co. KG 22

23 aformatik Training & Consulting GmbH & Co. KG 23 Dokumentation zu Keywords ( Libdoc ) Automatische Dokumentation der Keyword-Bibliotheken, ähnlich zu Javadoc

25 aformatik Training & Consulting GmbH & Co. KG 25 Testdaten-Aufbau *** Test Cases *** Testfall Eins Log Hallo Welt! Log Noch mehr Text... Testfall Zwei Log Und noch mehr Text... Log und Schluss! hello_world.robot

31 aformatik Training & Consulting GmbH & Co. KG 31 Testdaten-Aufbau *** Test Cases *** Testfall Eins Log Hallo Welt! Log Noch mehr Text... Testfall Zwei Log Und noch mehr Text... Log und Schluss! hello_world.robot Testsuite (Text-Cases-Datei)

32 aformatik Training & Consulting GmbH & Co. KG 32 Testdaten-Aufbau *** Test Cases *** Testfall Eins Log Hallo Welt! Log Noch mehr Text... Testfall Zwei Log Und noch mehr Text... Log und Schluss! hello_world.robot Testsuite (Text-Cases-Datei) *** Test Cases *** Noch ein Testfall Log Hallo Welt!... hello2.robot

33 aformatik Training & Consulting GmbH & Co. KG 33 Testdaten-Aufbau *** Test Cases *** Testfall Eins Log Hallo Welt! Log Noch mehr Text... Testfall Zwei Log Und noch mehr Text... Log und Schluss! hello_world.robot Testsuite (Text-Cases-Datei) *** Test Cases *** Noch ein Testfall Log Hallo Welt!... hello2.robot *** Test Cases *** Noch ein Testfall Log Hallo Welt!... hello3.robot

34 aformatik Training & Consulting GmbH & Co. KG 34 Testdaten-Aufbau *** Test Cases *** Testfall Eins Log Hallo Welt! Log Noch mehr Text... Testfall Zwei Log Und noch mehr Text... Log und Schluss! hello_world.robot Testsuite (Text-Cases-Datei) *** Test Cases *** Noch ein Testfall Log Hallo Welt!... hello2.robot *** Test Cases *** Noch ein Testfall Log Hallo Welt!... hello3.robot Testsuite

35 Eingabeformat Tabellenartig Testfall Eins Log Hallo Welt! Verschiedene Eingabeformate: HTML tab-separated values (TSV) plain text (mit Doppel-Leerzeichen oder Pipe);.robot,.txt restructuredtext (rest) aformatik Training & Consulting GmbH & Co. KG 35

36 Eingabeformat Tabellenartig Testfall Eins Testfall Eins Log Hallo Welt! Log Hallo Welt! Verschiedene Eingabeformate: HTML tab-separated values (TSV) plain text (mit Doppel-Leerzeichen oder Pipe);.robot,.txt restructuredtext (rest) aformatik Training & Consulting GmbH & Co. KG 36

37 Eingabeformat Tabellenartig Testfall Eins Log Hallo Welt! Testfall Eins Log Hallo Welt! Verschiedene Eingabeformate: HTML tab-separated values (TSV) plain text (mit Doppel-Leerzeichen oder Pipe);.robot,.txt restructuredtext (rest) aformatik Training & Consulting GmbH & Co. KG 37

38 Eingabeformat Tabellenartig Testfall Eins Testfall Eins Log Log Hallo Welt! Hallo Welt! Verschiedene Eingabeformate: HTML tab-separated values (TSV) plain text (mit Doppel-Leerzeichen oder Pipe);.robot,.txt restructuredtext (rest) aformatik Training & Consulting GmbH & Co. KG 38

39 aformatik Training & Consulting GmbH & Co. KG 39 Eingabeformat Tabellenartig Testfall Eins Testfall Eins Log Log Hallo Welt! Hallo Welt! Verschiedene Eingabeformate: HTML }Einfache und tab-separated values (TSV) laxe Syntax plain text (mit Doppel-Leerzeichen oder Pipe);.robot,.txt ( semicolon free ) restructuredtext (rest)

40 Keywords Framework stellt grundlegende Keywords bereit (z.b. Log, Should Be Equal, ) Framework liefert zudem Keyword-Bibliotheken, z.b. für Swing, Selenium(2) (Browserschnittstelle für Webanwendungen) Datenbank-Zugriff Telnet, HTTP, SSH, Screenshots, Betriebssystemzugriff, Benutzereingaben Android, IOS Zusammenfassung von Keywords zu einem neuen Keyword selbstdefinierte Keywords (mit Python oder Java) Keyword wirft Exception, falls Test fehlschlägt aformatik Training & Consulting GmbH & Co. KG 40

41 aformatik Training & Consulting GmbH & Co. KG 41 Beispiel (1) *** Settings *** Library SwingLibrary Library Screenshot *** Test Cases *** JFS-Demo-Test Launch Application Sleep Select Main Window Push Button Sleep de.aformatik.jsf2015.sampleappstarter 3 seconds Ändere Titel 3 seconds Select Dialog Titel-Eingabe Insert Into TextField OptionPane.textField Herzlich willkommen beim... Sleep 3 seconds Take Screenshot welcome-jfs.robot

42 aformatik Training & Consulting GmbH & Co. KG 42 Beispiel (1) *** Settings *** Library SwingLibrary Library Screenshot *** Test Cases *** JFS-Demo-Test Launch Application Sleep Select Main Window Push Button Sleep de.aformatik.jsf2015.sampleappstarter 3 seconds Ändere Titel 3 seconds Select Dialog Titel-Eingabe Insert Into TextField OptionPane.textField Herzlich willkommen beim... Sleep 3 seconds Take Screenshot welcome-jfs.robot

43 aformatik Training & Consulting GmbH & Co. KG 43 Beispiel (2) *** Settings *** *** Test Cases *** *** Keywords *** Wähle Titel [Arguments] [Documentation] Push Button Sleep Select Dialog Insert Into TextField Sleep Push Button Sleep ${titel} Wählt einen Titel aus. Ändere Titel 3 seconds Titel-Eingabe OptionPane.textField ${titel} 3 seconds OK 3 seconds welcome-jfs.robot

44 aformatik Training & Consulting GmbH & Co. KG 44 Beispiel (2) *** Settings *** *** Test Cases *** *** Keywords *** Wähle Titel [Arguments] [Documentation] Push Button Sleep ${titel} Wählt einen Titel aus. Ändere Titel 3 seconds Select Dialog Titel-Eingabe Insert Into TextField OptionPane.textField ${titel} Sleep 3 seconds Push Button Sleep OK 3 seconds welcome-jfs.robot

45 aformatik Training & Consulting GmbH & Co. KG 45 Beispiel (2) *** Settings *** *** Test Cases *** *** Keywords *** Wähle Titel Wähle Bild [Arguments] Push Button Sleep Choose From File Chooser ${dateiname} Wähle Bild 3 seconds ${dateiname} welcome-jfs.robot

46 aformatik Training & Consulting GmbH & Co. KG 46 Beispiel (2) *** Settings *** Library SwingLibrary Library Screenshot *** Test Cases *** JFS-Demo-Test Launch Application Sleep Select Main Window Wähle Titel Select Main Window Wähle Bild Take Screenshot de.aformatik.jsf2015.sampleappstarter 3 seconds Herzlich willkommen beim... jfslogo.jpg welcome-jfs.robot

47 aformatik Training & Consulting GmbH & Co. KG 47 Beispiel (3) *** Keywords *** Wähle Titel [Arguments] [Documentation] Push Button ${titel} Wählt einen Titel aus. Ändere Titel Titel muss "${titel}" sein [Documentation] Überprüft den Titel. ${actual_title}= Get Selected Window Title Should Be Equal ${titel} ${actual_title} welcome-jfs.robot

48 aformatik Training & Consulting GmbH & Co. KG 48 Beispiel (3) *** Test Cases *** JFS-Demo-Test Launch Application Sleep Select Main Window Wähle Titel de.aformatik.jsf2015.sampleappstarter 3 seconds Herzlich willkommen beim... Select Main Window Titel muss "Herzlich willkommen beim..." sein Select Main Window Wähle Bild Take Screenshot jfslogo.jpg welcome-jfs.robot

49 aformatik Training & Consulting GmbH & Co. KG 49 Beispiel (4) *** Settings *** Library SwingLibrary Library Screenshot *** Variables *** ${DELAY}= 3 seconds *** Test Cases *** JFS-Demo-Test Launch Application Sleep Select Main Window de.aformatik.jsf2015.sampleappstarter 3 seconds welcome-jfs.robot

50 aformatik Training & Consulting GmbH & Co. KG 50 Beispiel (4) *** Settings *** Library SwingLibrary Library Screenshot *** Variables *** ${DELAY}= 3 seconds *** Test Cases *** JFS-Demo-Test Launch Application Sleep Select Main Window de.aformatik.jsf2015.sampleappstarter ${DELAY} welcome-jfs.robot

52 aformatik Training & Consulting GmbH & Co. KG 52 Aufbau einer Test-Cases-Datei *** Settings *** *** Variables *** *** Test Cases *** *** Keywords *** welcome-jfs.robot

53 aformatik Training & Consulting GmbH & Co. KG 53 Testdaten-Aufbau - Revisited *** Test Cases *** Testfall Eins Log Hallo Welt! Log Noch mehr Text... Testfall Zwei Log Und noch mehr Text... Log und Schluss! hello_world.robot *** Test Cases *** Noch ein Testfall Log Hallo Welt!... hello2.robot *** Test Cases *** Noch ein Testfall Log Hallo Welt!... hello3.robot Testsuite

54 aformatik Training & Consulting GmbH & Co. KG 54 Testdaten-Aufbau - Revisited *** Test Cases *** Testfall Eins Log Hallo Welt! Log Noch mehr Text... Testfall Zwei Log Und noch mehr Text... Log und Schluss! 01 hello_world.robot *** Test Cases *** Noch ein Testfall Log Hallo Welt! hello2.robot *** Test Cases *** Noch ein Testfall Log Hallo Welt! hello3.robot Testsuite

55 aformatik Training & Consulting GmbH & Co. KG 55 Testdaten-Aufbau - Revisited *** Test Cases *** Testfall Eins Log Hallo Welt! Log Noch mehr Text... Testfall Zwei Log Und noch mehr Text... Log und Schluss! 01 hello_world.robot *** Settings *** Suite Setup Suite Teardown init.robot *** Test Cases *** Noch ein Testfall Log Hallo Welt! hello2.robot *** Test Cases *** Noch ein Testfall Log Hallo Welt! hello3.robot Testsuite

56 Syntax-Besonderheiten Keywords (und Variablen, etc.) sind case-insensitive und (einzelne) Spaces and Underscores werden ignoriert: Wähle Titel wäh le_ti_tel Herzlich willkommen beim... Herzlich willkommen beim... Beim Aufruf eines Keywords können Given, When, Then, And und But hinzugefügt werden (ohne Auswirkung). (Ermöglicht Behavior Driven Development -Stil) Mehr als 2 Leerzeichen werden wie zwei Leerzeichen behandelt Zeilenumbruch: Wähle Titel... Herzlich willkommen beim... aformatik Training & Consulting GmbH & Co. KG 56

57 aformatik Training & Consulting GmbH & Co. KG 57 SwingLibrary Es muß zuerst ein Kontext festgelegt werden: z.b., Select Main Window In diesem Kontextes werden Komponenten identifiziert durch ihren Index im Container (nicht zu empfehlen), ihren Namen, ihre Beschriftung (falls vorhanden, z.b. bei Buttons). Hilfsmittel: JSpy List Components in Context Ctrl+Shift+F1 (Swing) Select Dialog Titel-Eingabe Als Kontext dürfen leider nur bestimmte Container dienen:

58 Entwicklungsumgebung RIDE ( Robot-IDE ) Plugin/Syntax-Highlighting für Eclipse, Notepad++, Vim, Emacs, aformatik Training & Consulting GmbH & Co. KG 58

60 aformatik Training & Consulting GmbH & Co. KG 60 Beispiel (1) *** Settings *** Library de.aformatik.robotlib.myrobotlibrary welcome-jfs.robot

61 aformatik Training & Consulting GmbH & Co. KG 61 Beispiel (1) *** Settings *** Library de.aformatik.robotlib.myrobotlibrary public class MyRobotLibrary extends AnnotationLibrary { public MyRobotLibrary() { super(arrays.aslist("de/aformatik/robotlib/kw/*")); } } welcome-jfs.robot MyRobotLibrary.java

62 aformatik Training & Consulting GmbH & Co. KG 62 Beispiel (1) *** Settings *** Library de.aformatik.robotlib.myrobotlibrary welcome-jfs.robot public class MyRobotLibrary extends AnnotationLibrary { public MyRobotLibrary() { super(arrays.aslist("de/aformatik/robotlib/kw/*")); } } public class TreeTableKeywords a node in my tree "nodeidentifier" }) public void expandmytreetablenode(string nodeidentifier) throws Exception { de/aformatik/robotlib/kw/treetablekeywords.java

63 aformatik Training & Consulting GmbH & Co. KG 63 Beispiel public class TreeTableKeywords a node in my tree "nodeidentifier" }) public void expandmytreetablenode(string nodeidentifier) throws Exception { de/aformatik/robotlib/kw/treetablekeywords.java

64 aformatik Training & Consulting GmbH & Co. KG 64 Beispiel public class TreeTableKeywords a node in my tree "nodeidentifier" }) public void expandmytreetablenode(string nodeidentifier) throws Exception { de/aformatik/robotlib/kw/treetablekeywords.java *** Test Cases *** JFS-Demo-Test Expand My TreeTable Node Historie Herzlich willkommen beim... welcome-jfs.robot

65 aformatik Training & Consulting GmbH & Co. KG 65 Beispiel public class TreeTableKeywords a node in my tree "nodeidentifier" }) public void expandmytreetablenode(string nodeidentifier) throws Exception { System.out.println("*INFO* " + "expandmytreetablenode: " + nodeidentifier); ContainerOperator mainframe = (ContainerOperator) Context.getContext(); JRootPane rootpane = (JRootPane) mainframe.getcomponent(0); JLayeredPane layeredpane = (JLayeredPane) rootpane.getcomponent(1); JPanel contentpane = (JPanel) layeredpane.getcomponent(0); JScrollPane scrollpane = (JScrollPane) contentpane.getcomponent(0); JViewport viewport = (JViewport) scrollpane.getcomponent(0); JXTreeTable treetable = (JXTreeTable) viewport.getcomponent(0); JTree thetree = (JTree) treetable.getcellrenderer(0, 0); de/aformatik/robotlib/kw/treetablekeywords.java

66 aformatik Training & Consulting GmbH & Co. KG 66 Beispiel public class TreeTableKeywords a node in my tree "nodeidentifier" }) public void expandmytreetablenode(string nodeidentifier) throws Exception { System.out.println("*INFO* " + "expandmytreetablenode: " + nodeidentifier); ContainerOperator mainframe = (ContainerOperator) Context.getContext(); JTree thetree = (JTree) treetable.getcellrenderer(0, 0); JTreeOperator jemmyoperator = new JTreeOperator(theTree); TreeOperator robotoperator = new TreeOperator(jemmyOperator); } robotoperator.expand(nodeidentifier); de/aformatik/robotlib/kw/treetablekeywords.java

67 aformatik Training & Consulting GmbH & Co. KG 67 Beispiel public class TreeTableKeywords a node in my tree "nodeidentifier" }) public void expandmytreetablenode(string nodeidentifier) throws Exception { System.out.println("*INFO* " + "expandmytreetablenode: " + nodeidentifier); ContainerOperator mainframe = (ContainerOperator) Context.getContext(); JTree thetree = (JTree) treetable.getcellrenderer(0, 0); JTreeOperator jemmyoperator = new JTreeOperator(theTree); TreeOperator robotoperator = new TreeOperator(jemmyOperator); } robotoperator.expand(nodeidentifier); de/aformatik/robotlib/kw/treetablekeywords.java

68 aformatik Training & Consulting GmbH & Co. KG 68 API / Kommunikation mit dem Framework Expand My TreeTable Node ${actual_title}= Historie Herzlich willkommen beim... Get Selected Window Title welcome-jfs.robot public void expandmytreetablenode(string nodeidentifier) throws Exception { System.out.println("*INFO* " + "expandmytreetablenode: " + nodeidentifier); ContainerOperator mainframe = (ContainerOperator) Context.getContext(); TreeTableKeywords.java

69 aformatik Training & Consulting GmbH & Co. KG 69 API / Kommunikation mit dem Framework Expand My TreeTable Node Historie Herzlich willkommen beim... ${actual_title}= Get Selected Window Title welcome-jfs.robot public void expandmytreetablenode(string nodeidentifier) throws Exception { System.out.println("*INFO* " + "expandmytreetablenode: " + nodeidentifier); ContainerOperator mainframe = (ContainerOperator) Context.getContext(); TreeTableKeywords.java

70 API - Rückgabewerte public class TestData { private final String nodeidentifier = "Historie Herzlich willkommen beim..."; } public String getnodeidentifier() { return this.nodeidentifier; } a pojo!") public TestData createtestdata() { return new TestData(); } PojoExampleKeywords.java ${testdata}= Expand My TreeTable Node Create Test Data ${testdata.getnodeidentifier()} welcome-jfs.robot aformatik Training & Consulting GmbH & Co. KG 70

71 API - Rückgabewerte public class TestData { private final String nodeidentifier = "Historie Herzlich willkommen beim..."; } public String getnodeidentifier() { return this.nodeidentifier; } a pojo!") public TestData createtestdata() { return new TestData(); } PojoExampleKeywords.java ${testdata}= Expand My TreeTable Node Create Test Data ${testdata.getnodeidentifier()} welcome-jfs.robot aformatik Training & Consulting GmbH & Co. KG 71

72 aformatik Training & Consulting GmbH & Co. KG 72 API - Klassenkonstanten public class MyRobotLibrary extends AnnotationLibrary { public static final String ROBOT_LIBRARY_SCOPE = "GLOBAL"; public MyRobotLibrary() { super(arrays.aslist("de/aformatik/robotlib/kw/*")); } } MyRobotLibrary.java

73 aformatik Training & Consulting GmbH & Co. KG 73 JavalibCore public class MyRobotLibrary extends AnnotationLibrary { public static final String ROBOT_LIBRARY_SCOPE = "GLOBAL"; public MyRobotLibrary() { super(arrays.aslist("de/aformatik/robotlib/kw/*")); } } private TreeTableKeywords a "testdata" }) public void processtestdata(testdata testdata) throws Exception { new TreeTableKeywords().expandMyTreeTableNode(testData.getNodeIdentifier()); } de/aformatik/robotlib/kw/treetablekeywords.java

74 aformatik Training & Consulting GmbH & Co. KG 74 JavalibCore public class MyRobotLibrary extends AnnotationLibrary { public static final String ROBOT_LIBRARY_SCOPE = "GLOBAL"; public MyRobotLibrary() { super(arrays.aslist("de/aformatik/robotlib/kw/*")); } } private TreeTableKeywords a "testdata" }) public void processtestdata(testdata testdata) throws Exception { this.treetablekeywords.expandmytreetablenode(testdata.getnodeidentifier()); } de/aformatik/robotlib/kw/treetablekeywords.java

75 Fragen / Kontakt / Download aformatik-stand (Nr. 5) im Foyer vor dem Hegel Saal thomas.gauss@aformatik.de Testsuite verfügbar unter: Homepage: aformatik Training & Consulting GmbH & Co. KG 75

76 Quellen Pekka Laukkanen: Data-Driven and Keyword-Driven Test Automation Frameworks, 2006, Master Thesis, Helsinki University of Technology html, 2013 aformatik Training & Consulting GmbH & Co. KG 76