23. Januar, Zürich-Oerlikon

Transkript

1 23. Januar, Zürich-Oerlikon

2 Testautomatisierung in der Praxis Case Study Mettler Toledo Thorsten Rosin Area Manager Industry/Product Inspection Mettler Toledo Marc Müller Principal Consultant 4tecture GmbH

3 Agenda Ausgangslage, Vorstellung Mettler Toledo Vorgehen Technischer Überblick Erfahrungen aus der Praxis Zusammenfassung / Q & A Agenda

4 Ausgangslage Kapitel 1/5

5 METTLER TOLEDO ist weltweit führender Anbieter von Präzisionsinstrumenten für Labor, Industrie und Lebensmittelhandel.

6 Produkt LabX LabX ist eine Client-/Server Applikation für die Anbindung von High-End Mettler Toledo Laborgeräten (Waagen, Titratoren etc.). Besonderes Merkmal dieser Applikation ist die hohe Konfigurierbarkeit durch Workflows. o LOC o Komponenten & Integrationstests o ca manuelle Tests Cases

7 LabX Unterstützt: - 5 verschiedene Gerätetypen und insgesamt 8 verschiedene Modelle dieser Gerätetypen. - Alle Betriebssysteme in allen Sprachen ab Windows XP - Alle SQL Server Versionen seit SQL Server Applikationssprachen inklusive Hilfesystem. Technologien: - C# -.Net WCF, - DevExpress/WinForms, - Windows Workflow Foundation, - Spring.NET (IOC Container), - Windows Installer XML (WIX) - NHibernate

8 Produkt ProdX ProdX ist eine Client/Server Applikation zur Anbindung von High-End Produktinspektionsgeräten von Mettler-Toledo. Besonderes Merkmal ist die geforderte Verfügbarkeit und der Datendurchsatz LOC Komponenten & Integrationstests manuelle Tests Cases

9 ProdX Unterstützt: - 3 verschiedene Gerätetypen und insgesamt 26 verschiedene Modelle dieser Gerätetypen. - Alle Betriebssysteme in allen Sprachen ab Windows VISTA - Alle SQL Server Versionen seit SQL Server Applikationssprachen inklusive Hilfesystem. Technologien: - C# -.Net WCF, - DevExpress/WinForms, - Unity, - Prism - Windows Installer XML (WIX) - NHibernate

10 Entwicklung- und Testteamverteilung

11 Vorgehen Kapitel 2/5

12 Zieldefinition Ziel: Automatisierung von 70% der manuellen Tests Zwischenziele: Setup Lab Environment Bereitstellung von virtuellen Test-Environments Durchstich UI Tests Automatisierung der System-Integrationstests Automatisierung der System-Tests (UI Tests)

13 13 the real low-hanging fruit is often not automating some test execution but automating other testing tasks, like populating databases or automatic navigation to the page where you ll start manual testing. you re not reducing the number of manual tests, but you re reducing the total time it takes to run them... - Mike Cohn quoting Brian Marick

14 14 Tools für Test Automatisierung UI Test Frameworks Unit Testing + Isolation Framework UI Service Unit Testing Framework + Isolation Framework Unit / Component Quelle: Mike Cohn

15 Technischer Überblick Kapitel 3/5

16 Testautomatisierung mit VS / TFS Microsoft Test Manager Test Case Management Manuelles Testen Environment Viewer Lab Management Verwaltung von Test- Environments Test Controller / Agent zur Ausführung von Tests CodedUI Library für UI Automation Basiert auf MSTest

17 17 Architecture: Lab + Build + Test Team Foundation Server Lab Management Test Case Management Test Controller System Center Virtual Machine Manager Build Management Hyper-V host Library Share Source Control VM1 Test Agent Stored Virtual Machine Client: Test Manager Work Item Tracking Client: Visual Studio Build Controller Build Agent for Compilation Stored Virtual Stored Machine Virtual 2 Stored Machine Virtual 2 Environment

18 18 Lab Management Host / Library Hyper-V Host My Environment Execute Web DB Tests Create new environment Save environment Library Share Template VM Windows 7 + IE 8 Template VM Windows 8 + IE 10 My Environment Web DB

19 Testautomation in Action

20 Erfahrungen aus der Praxis Kapitel 4/5

21 Integration Hyper-V Umgebung (Herausforderung) Mettler Toledo Data Center: Lab Management: VMWare Hyper-V Herausforderungen «zweite» Virtualisierungstechnologie Active Directory Integration Hardware Beschaffung

22 Integration Hyper-V Umgebung (Lösung) Aufbau dedizierte Infrastruktur für Testing Pilotphase: Aktueller Ausbau: 3 Power-Workstations HP Hyper-V Lösung (Dual Host, SAN) Dedizierte Active Directory OU SUT ist nicht AD integriert Workgroup / Test AD Registrierung bei produktivem DNS Server

23 Integration Hyper-V Umgebung (Lösung) MT Datacenter Testing Network TFS 2012 Server Build Controller TFS AS Test Controller Router, Firewall Hyper-V Host VM with Agents VM with Agents Hyper-V Host VM with Agents VM with Agents SCVMM Admin Console SCVMM Service VMM Server Library Share

24 Verteiltes Manuelles Testing (Herausforderung) Verteilte Test-Teams Indien Polen Bisher langsames Deployment des SUT Grosses Datenvolumen (1 GB) Wenig Bandbreite

25 Verteiltes Manuelles Testing (Lösung) Vereinfachung und Effizienzsteigerung dank virtuellen Test Environments Bereitstellung des Environments auf Schweizer Infrastruktur Zugriff über Environment Viewer (Microsoft Test Manager, Verbindung über Remote Desktop) Automatisches Deployment aufgrund Build Output Vorteile: Benötigt wenig Bandbreite Einfaches Zurücksetzen der Environments (Snap-Shot) Komplexe Environments möglich Duplizieren von Environments möglich

26 Verteiltes Manuelles Testing (Lösung) build app. restore snapshot run tests restore env. take env. snapsh ot deploy app.

27 Hardware-nahe Test-Environments (Lösung) Test mit Devices Emulator in VM Physikalische Verbindung mit Test PC Fokus auf PC Software Out of the Box Features Gerätetest bedingt Windows Betriebssystem (Agent Installation) Dedizierte Schnittstelle, über Agent (PC) angesprochen Lab Management Einbindung physikalischer Environments (nicht SCVMM basierter Hyper-V Lösung) ist möglich Standard Environment

28 Test Case Management (Herausforderung) Test Case Definitionen in Word Excel Manuelles Reporting Test Case Design Fokus auf manuelles Testen Nicht direkt automatisierbsar

29 Test Case Management (Lösung) Erfassung als Work Item Refactoring in Triple-A Konstrukt Arrange Act Assert Parametrisierung in WI Common steps are extracted in a shared step Parameter definition

30 Test Case Management (Lösung) Parametrisierung der automatisierten Tests

31 Automated Test Location Transparency (Herausforderung) Integrations- und UI Tests sollen einmal definiert werden auf verschiedenen Environments laufen Optimierter Direktzugriff auf Datenbank, Service Schnittstelle Restart von Applikation / Windows Services

32 Automated Test Location Transparency (Lösung) Trennung der Konfigurationsdaten und Testcode Test Code Test Context (Test Parameter) Test Runner TFS Deployment Configuration Deplyoment auf SUT erstellt Deployment Config Komplexes Deployment Skript (Power Shell) in BDT Workflow Fallback auf lokale Default-Werte

33 UI Tests (Herausforderung) Bestehendes UI Verwendung von 3rd Party Libraries Zuverlässige UI Automatisierung Robuste Tests, leichte UI Änderungen möglich Gleiche Software Engineering Richtlinien

34 UI Tests (Lösung) UI Element Identifikation Analyse des UI Feedback an Entwicklung Verwendung zusätzlicher Control Properties für CodedUI Page Object Pattern Für jede View wird eine separate Abstraktion erstellt Änderungsaufwand hält sich in Grenzen Test orchestriert 1-n Page Objects CodedUI ist erweiterbar Adapter von Hersteller

35 Prozess und Organisation (Herausforderung) Test-Automation Engineer Ausgeschriebene Stelle konnte nicht besetzt werden. Integration der Testautomatisierung in Prozess Unterwanderung der Rolle des Test Managers Reduktion Manueller Testes durch Automatisierte Tests um Investition zu rechtfertigen. Anforderungen aus Audit Sicht Rückverfolgbarkeit der Entscheidung bezüglich Anpassung von automatisierten Test Cases.

36 Prozess und Organization (Lösung) Aufgaben des Test-Automation Engineer wurde ins Entwicklungsteam verlagert. Test-Automation Engineer bildet Schnittstelle ins Entwicklungsteam. Feature und Test wird von unterschiedlichen Personen entwickelt Verändern von Komponenten-/Integrationstests erfordert Review von einer unabhängigen Person. Architekt verantwortlich für Test- und Produktiv-Code

37 Zusammenfassung Kapitel 5/5

38 Zusammenfassung Das sind die 3 wichtigsten Punkte, die wir Ihnen erzählen wollten: 1. «Low hanging fruits» erzielen bereits grosse Effizienzsteigerung 2. Effiziente UI Automation bedingt eine fundierte Basis an - Unit- und Integrationstests - für Testing optimiertes UI 3. Testautomation hat Einfluss auf klassische Organisation, schafft neue und interessante Funktionen

39 Wie beginne ich nun? Workshop Angebot 3 Tage UI Automation (CodedUI) Lab Management Veranstaltungsort Zürich Stuttgart Trainer Marc Müller, 4tecture Nico Orschel, AIT Flyer am Stand von 4tecture erhältlich.

40 Besten Dank für Ihre Aufmerksamkeit Für allfällige Fragen stehen wir Ihnen jederzeit gerne zur Verfügung: 4tecture GmbH Marc Müller Thurgauerstrasse

41