Bugs in die Saftpresse! Citrus Integration Testing

Transkript

1 Bugs in die Saftpresse! Citrus Integration Testing Referenten: Christoph Deppisch, Consultant und Software Architekt, ConSol* GmbH Karl Berberich, Senior Softwarearchitekt, M-net Telekommunikations GmbH München, 13. Oktober 2015

2 Agenda Erste Schritte Was ist Citrus? Mission Integrationstest M-net Erfahrungsbericht Enterprise Service Bus automatisiert testen Microservices Beispiel: Apache Camel & Docker Seite 2

3 Was ist Citrus? Integration Test Framework Automatisierte Schnittstellen Tests Fokus: Nachrichtenbasierte, verteilte Softwaresysteme Fertige Komponenten für Client und Server Http, REST, SOAP, TCP/IP, JMS, FTP, SMTP,... Basierend auf etablierten Libraries und APIs TestNG, JUnit, Apache Camel, Spring Framework, Arquillian, Docker,... Open Source (Apache License 2.0) Seite 3

4 Historie Version Version 1.0 Open Source ASL 2.0 Citrus Version ConSol Eigenentwicklung, interner Gebrauch, Verwendung in diversen Kundenprojekten, Open Source Verbreitung weltweit, Workshops, Beratung Seite 4

5 Mission: Integrationstest App A Schnittstelle / Vertrag SOAP / WSDL App B Seite 5

6 Mission: Integrationstest App A Schnittstelle / Vertrag SOAP / WSDL App B Simulator? Mock? Seite 6

7 Mission: Integrationstest App A Schnittstelle / Vertrag SOAP / WSDL Seite 7

8 Mission: Integrationstest Kunde Stammdaten Webclient Verträge Agent / Techniker System Under Test Dienstleister Mobile, PDA Scan & Print Seite 8

9 Mission: Integrationstest Kunde Stammdaten Agent / Techniker System Under Test Dienstleister Seite 9

10 Build-Lifecycle Code Änderung Checkout & Compile Build-Tool (Maven) JUnit/TestNG Framework Citrus Integration Tests Package & Deploy Unit Tests XML DSL Citrus Framework Java DSL Seite 10

11 Testumgebung Code Versionierung (Git) Checkout Sources Continuous Build (Jenkins) Trigger Build Compile Package Deploy Build-Tool (Maven) Execute Tests Application Server Call Interfaces Verify results Citrus Projekt Create Reports DB Test Reporting Seite 11

12 M-net Erfahrungsbericht Seite 12

13 Das Unternehmen Zahlen und Fakten Gegründet Mitarbeiterzahl rund 840 Umsatz 2014 Kundenanschlüsse Standorte ca. 205 Mio. Euro ca Privat- und Geschäftskunden Firmensitz München Vertriebsniederlassungen: Augsburg, Gelnhausen, Kempten und Nürnberg M-net Feb

14 Das Unternehmen Solide Gesellschafterstruktur Gesellschafter Stadtwerke München GmbH Anteile 63,84 % Stadtwerke Augsburg Energie GmbH 13,17 % Allgäuer Überlandwerk GmbH 9,25 % N-ERGIE AG 4,58 % Infra Fürth GmbH 4,58 % Erlanger Stadtwerke AG 4,58 % M-net Feb

15 Produktportfolio M-net verfügt über ein umfassendes Portfolio Endverbraucher Festnetz & Mobilfunk sowie Datenlösungen Attraktive Endgeräte TV & Rundfunk Unternehmen VPN Lösungen Highend LAN (Bandbreiten bis zu 10 Gbit/s) Rechenzentren Carrier Interconnection Leistungen Wholesale Lösungen M-net Feb

16 M-net Atlas ESB Projekt Projekt Atlas ESB im M-net Retail Programm Aufbau zentraler Enterprise Service Bus Unternehmensweiter Umbau auf neue Zielarchitektur Seite 16

17 Seite 17

18 ESB Architektur Service Layer Mediation Component CDM/EMS CDM/EMS CDM Integration Layer Integration Component A ADM/ Adapter EMS BW Integration Component B BW ADM/ Adapter EMS ADM CDM/EMS CDM/HTTP ADM Resource Layer Legacy Application A Legacy Application B ADM ESB Enabled Seite 18

19 Automatisierung Automatisierung Build Deployment Tests (mit Citrus) Deployment Konfiguration Konfiguration pro Umgebung oder Deployment-Art im SCM Skripting Ant Skripte steuern Build und Deployment Konfigurierbare Jenkins Jobs automatisieren Build, Deployment und Tests Seite 19

20 Citrus im Einsatz Automatisierte Testfälle (1058) Integrationstests (810) GUI Tests (ESB Admin GUI) (248) Durchlauf Build, Deployment Tests ~ 30 Minuten Citrus Tests auf verschiedenen Ebenen Alle am ESB angebundenen Systeme werden im Test simuliert Asynchron, Synchron, Aggregation, Mediation, Transformation, Fehlerszenarien Continuous Build in Jenkins Seite 20

21 Endpoints Fertige Komponenten - nur Konfiguration! <!-- DocumentArchiveService --> <citrus:jms-endpoint id="jms.customer.op.cdm.src.v1.documentarchiveservice" destination-name="mnet.customer.op.cdm.src.v1.documentarchiveservice"/> <!-- DocumentDeliveryService --> <citrus:jms-sync-endpoint id="jms.customer.op.cdm.src.v1.documentdeliveryservice" destination-name="mnet.customer.op.cdm.src.v1.documentdeliveryservice" timeout="${global.receive.timeout}"/> <!-- SPRI DTAG Server --> <citrus-ws:server id="wbcidtagserver" port="${wbci.dtag.v2.server.port}" auto-start="true" interceptors="wbcidtagsecuritytinterceptors" timeout="${global.receive.timeout}"/> Seite 21

22 Citrus Komponenten Name Beschreibung Name Beschreibung schema-repository Schemavalidierung ftp:client/ftp:server FTP Client/Server global-variables Globale Test Variablen camel:endpoint Apache Camel Integration namespace-context XML/Xpath Namespaces mail:client/mail:server Mail SMTP Client/Server validation-matcher Validation Matcher vertx:endpoint Vert.x Integration functions Funktionen ssh:client/ssh:server SSH Client/Server data-dictionary Dynamische Testdaten socket:client/socket:ser ver WebSocket Client/Server Http Client/Server message-validator Validation (XML, JSON,...) ws:client/ws:server jms:endpoint SOAP Client/Server JMS Queue/Topic Seite 22

23 Schemavalidierung <!-- XSD schema repository --> <bean id="schemarepository" class="com.consol.citrus.xml.xsdschemarepository"> <property name="locations"> <list> <value>classpath:schemas/soap-1.1.xsd</value> <value>file:${project.home}/esb/bw/shared/sharedlibrary/descriptors/**/*.xsd</value> <value>file:${project.home}/esb/bw/integration/iccsintegration/*.wsdl</value> <value>file:${project.home}/esb/bw/integration/dmsintegration/*.wsdl</value> <value>file:${project.home}/esb/bw/integration/ffmintegration/**/*.xsd</value> <value>file:${project.home}/esb/bw/integration/bsiintegration/**/*.wsdl</value> <value>file:${project.home}/esb/bw/integration/sspintegration/*.xsd</value> [...] </list> </property> </bean> Seite 23

24 Security & Zertifikate (WSSecurity) <!-- SOAP/HTTP Sender --> <citrus-ws:client id="http.wbciservice.dtag.v2" request-url="${wbci.dtag.v2.endpoint} interceptors="wbcidtagwssecuritytinterceptor /> <bean id="wbcidtagwssecurityinterceptor" class="org.springframework.ws.soap.security.wss4j.wss4jsecurityinterceptor"> <property name="validationactions" value="signature"/> <property name="securementactions" value="signature"/> <property name="securementusername" value="dtag"/> <property name="securementpassword" value="citrus"/> <property name="validationsignaturecrypto" ref="wbcidtagkeystore"/> <property name="securementsignaturecrypto" ref="wbcidtagkeystore"/> </bean> <bean id="wbcidtagkeystore" class="org.springframework.ws.soap.security.wss4j.cryptofactorybean"> <property name="keystorepassword" value="citrus"/> <property name="keystorelocation" value="file:${project.home}/esb/dependencies/keystores/citrus_dtag.jks"/> </bean> Seite 24

25 Security & Zertifikate (SSL) <! MTEDV Http Server --> <citrus- id="mtedvserver" auto-start="true" connector="mtedvsslconnector" timeout="${global.receive.timeout}"/> <bean id="mtedvsslconnector" class="org.eclipse.jetty.server.ssl.sslselectchannelconnector"> <constructor-arg> <bean class="org.eclipse.jetty.util.ssl.sslcontextfactory"> <property name="keystorepath" value="${project.home}/esb/dependencies/keystores/citrus_mnet.jks"/> <property name="keystorepassword" value="citrus"/> <property name="certalias" value="mnet"/> </bean> </constructor-arg> <property name="port" value="${mtedv.server.port}"/> </bean> Seite 25

26 Citrus XML Testfall <testcase name="esb_wbci_wbciservice_annehmenanfrage_vakuemrn_test"> <description>tests the WBCI service implementation</description> <variables> <variable name="vorabstimmungsid" value="deu.mnet.vcitrus:randomstring(9, UPPERCASE)"/> </variables> <actions> <echo><message>send request to WBCI endpoint</message></echo> <send endpoint="http.wbciservice.dtag.v2" fork="true > [...] </send> <echo><message>receive response from WBCI endpoint</message></echo> <receive endpoint="http.wbciservice.dtag.v2"> [...] </receive> <actions> </testcase> Seite 26

27 Citrus Testaktionen Name Beschreibung Name Beschreibung send Versenden einer Nachricht sql SQL Abfragen ausführen receive Empfang einer Nachricht sleep Zeitspanne warten echo Text ausgeben create-variables Testvariable(n) erstellen java Java Code ausführen iterate Schleife groovy Groovy Code ausführen repeat-until-true Schleife mit Bedingung input Benutzereingabe repeat-onerror-untiltrue Fehlerschleife assert Ausnahme erwarten parallel Parallele Ausführung catch Ausnahme abfangen sequential Sequentielle Ausführung ant ANT Skript ausführen conditional Bedingte Ausführung Seite 27

28 Nachrichten senden <send endpoint="http.wbciservice.dtag.v2" fork="true"> <message> <payload> <tns:annehmenanfragerequest xmlns:tns=" <Anfrage xsi:type="ar:kuendigungmitrnpgeschaeftsfalltype"> <Endkundenvertragspartner> <EKPauf><CarrierCode>DEU.DTAG</CarrierCode></EKPauf> <EKPabg><CarrierCode>DEU.MNET</CarrierCode></EKPabg> </Endkundenvertragspartner> <VorabstimmungsId>${vorabstimmungsId}</VorabstimmungsId> <Kundenwunschtermin> </Kundenwunschtermin> [...] </Anfrage> </tns:annehmenanfragerequest> </payload> </message> <header> <element name="citrus_soap_action" value=" </header> </send> Seite 28

29 Nachrichten empfangen <receive endpoint="http.wbciservice.dtag.v2" timeout="5000"> <message> <payload> <ns0:annehmenanfrageresponse xmlns:ns0=" <Quittung> <Absender><CarrierCode>DEU.DTAG</CarrierCode></Absender> <VorabstimmungsIdRef>${vorabstimmungsId}</VorabstimmungsIdRef> <Position xsi:type="ns2:meldungspositionteqtype"> <Meldungscode>OK</Meldungscode> <Meldungstext>OK</Meldungstext> </Position> </Quittung> </ns0:annehmenanfrageresponse> </payload> </message> <header> <element name="meldungscode" value="ok"/> <element name="meldungstext" value="ok"/> </header> </receive> Seite 29

30 M-net Erfahrungsbericht Seite 30

31 Zusammenfassung Erfahrungsbericht Entwicklungsbegleitende Integrationstests Unabhängigkeit zu anderen Schnittstellenpartnern Simulation von Fehlersituationen Security Anforderungen sicherstellen (Zertifikate, Signaturvalidierung, etc.) Automatisierte Schnittstellentests Sicherheit bei der Softwarelieferung (Keine Überraschungen) Keine manuellen Testaufwände Schnelle Lieferzyklen möglich Seite 31

32 Microservices Seite 32

33 Microservices Warum? Komplexität bewältigen Deployments vereinfachen Verteilte Zuständigkeiten, autonome Teams schaffen Entscheidungsfreiheit bei der Technologiewahl Flexibilität und Skalierbarkeit wahren Schnellere Software Delivery ermöglichen Seite 33

34 Microservices - Vorsicht Erhöhte Komplexität Security Anforderungen Wiederverwendung von Resourcen schwierig Network Overhead Service übergreifendes Testen schwierig Seite 34

35 Tooling Seite 35

36 Apache Camel Routing & Mediation Engine 200+ Komponenten 30+ Daten Formate Enterprise Integration Patterns Leichtgewichtig Exzellentes Monitoring Deployment Vielfalt Application Server ESB Java Standalone Seite 36

37 Docker Extrem leichtgewichtige Virtual Machine Runtime Konzept gibt es schon seit Jahren Docker macht Nutzung der Container Technologie extrem einfach Mehrere Docker Container auf einem Host Eigenes OS Eigenes Filesystem Komplett isoliert voneinander Continous Delivery: Build, Ship and Run Seite 37

38 Docker Maven Plugin Maven Plugin für Docker Container Management rhuss/docker-mavenpluginhttps://github.com/rhuss/docker-maven-plugin docker:build docker:start docker:stop docker:push Seite 38

39 Beispiel Seite 39

40 Beispiel: Bäckerei bakery-worker bakery-web bakery-worker bakery-report bakery-worker 2x 3x 1x Seite 40

41 Docker Infrastruktur worker bakery broker worker report worker Seite 41

42 Citrus Test bakery Container CITRUS bakery broker CITRUS report CITRUS CITRUS Seite 42

43 Citrus Test worker Container worker CITRUS broker worker CITRUS worker Seite 43

44 Citrus Test report Container CITRUS bakery broker CITRUS report CITRUS CITRUS Seite 44

45 Citrus Test End-to-End worker bakery broker worker report CITRUS CITRUS worker Seite 45

46 Beispiel: Bäckerei Seite 46

47 Informationen Homepage Tutorials User Guide Mailing List Blog Seite 47

48 ConSol Software GmbH Franziskanerstraße 38 D München Tel: Fax: Seite 48