TRANSITION ZUR AGILEN TESTMATRIX

Transkript

1 TRANSITION ZUR AGILEN TESTMATRIX SQS Quality Brunch; 25. Juni 2015; Wien Robert Korošec AVL List GmbH (Headquarters)

2 VORTRAGS ÜBERBLICK 1. Vorstellung AVL 2. Warum agiler werden? 3. Unsere Transition 4. Rolle Test Agile Test Matrix Introduction Why Agile? Our Transition Role of Testing Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

3 AVL LIST GMBH INTRODUCTION Development, simulation and test of powertrain systems Powertrain Engineering Passenger Cars 2-Wheelers Racing Development Platform Construction Agriculture Commercial Vehicle Locomotive Marine Power Plants Simulation & Testing Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

4 AVL GROUP, EMPLOYEES PER REGION AMERICAS EUROPE ASIA 7% 75% 18% EMPLOYEES WORLDWIDE 2014 Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

5 ENTERPRISE DEVELOPMENT AUTOMOTIVE RESEARCH 10% of turnover in-house R&D INNOVATION 1500 granted patents STAFF employees 65% engineers & scientists GLOBAL FOOTPRINT 30 engineering locations >220 test beds Global customer support network GROWTH SALES 1991: 0.1 billion EXPERIENCE 65 years! 5 powertrain elements 2014: 1.15 billion prev billion ONE PARTNER Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

6 Powertrain Complexity Integration & Validation Effort BUSINESS DRIVER INCREASING POWERTRAIN DIVERSITY Electrical Driving e-motor for each Wheel Hybrid Systems e-motor on front Wheels Hybrid Systems Porsche e CVT TTR Hybrid (e4wd) Torque Vectoring Toyota Active Transmissions Active 4WD Systems Standard Configuration Driver Assistant and Vehicle Safety Systems xx Calendar Year

7 ZOOMING INTO AVL INSTRUMENTATION AND TEST SYSTEMS Test systems and instruments to support the development of powertrain systems Powertrain Engineering Passenger Cars 2-Wheelers Racing Development Platform Construction Agriculture Commercial Vehicle Locomotive Marine Power Plants Simulation & Testing Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

8 ZOOMING INTO AVL INSTRUMENTATION AND TEST SYSTEMS Test systems and instruments to support the development of powertrain systems Powertrain Engineering Development Platform Simulation & Testing Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

9 Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

10 PRÜFSTAND IST EIN SYSTEM OF SYSTEMS Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

11 AVL INSTRUMENTATION AND TEST SYSTEMS Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

12 AVL Integration Software Products provide Test bed automation Realtime simulation of vehicle, road, maneuvers, conditions Post-processing Test facility management systems Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

13 ZOOMING IN FURTHER THE TEST SYSTEMS - SOFTWARE ORGANIZATION PRODUKT ORIENTIERT & VERTEILT 10 Produkt-Linien Global verteilte SW Entwicklung (> 300 Entwickler in 7 Länder) STATUS 2012 Komplexe, dokumentenzentrierte Prozessumgebung (CMMI Level 3) Teams um Rollen Produktmanagement, Entwicklung, Test Produktsegmente Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

14 WARUM GILT AGILER WERDEN? (auch für embedded, sicherheitskritische, mechatronische Systeme) Die vernetzte Welt ist DAS Paradigma für künftige Produktinnovationen. Neue Geschäftsmodelle benötigen mehr Agilität Introduction Why Agile? Our Transition Role of Testing Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

15 SMARTE PRODUKTE SIND INTEGRIERT IN Source: Adapted from acatech 2013 [2] Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

16 FAHRZEUGE ALS CYBER PHYSICAL SYSTEMS Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

17 SYSTEMINTEGRATOREN WERDEN AGILER TESLA ONLINE SW UPDATES Tesla-Gründer Elon Musk : "Wir haben mit dem Model S einen Hochleistungs-Computer auf Rädern geschaffen. Neue Funktionen (z.b. Sicherheits-Assistenten) gibt es per Download. SOFTWARE DRIVES AUTOMOTIVE DEVELOPMENT 2030 o Geschäftsmodelle auf Basis Internet of Things & Services transformieren ganze Branchen o Das erfährt derzeit auch die Automobilindustrie Entscheidungen in Richtung o Agilisierung der gesamten Organisation o Schnelle Marktreife wird das übergeordnete Ziel Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

18 Wertschöpfung AGILE METHODIK SCHNELLERE MARKTREIFE MEHR GEWINN Zeit Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

19 KNOWLEDGE WORKERS 1/2 Knowledge workers are individuals who know more about the work that they perform than their bosses. (Peter Drucker, 2001) Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

20 KNOWLEDGE WORKERS 2/2 Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

21 DIE INTRINSISCHE MOTIVATION DER KNOWLEDGE WORKER FÖRDERN KNOWLEDGE WORKER BRAUCHEN o Herausfordernde Ziele & Inspirierende Mission o Teil eines performanten Teams zu sein o Gehört und respektiert zu werden o Minimale Bürokratie und maximale Autonomie LEAN MANAGEMENT SCHAFFT DIE BASIS o Strategische Entscheidungen und Verbindung Unternehmensziele zur täglichen Arbeit o Autonomie ohne die Mission zu gefährden o Offene Feedback- und Fehlerkultur, auf Basis gegenseitigen Respekts Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

22 TRANSITION ZUR AGILEN SOFTWARE ENTWICKLUNG Transition zur (skalierten) Agilität in unserer Einheit, ein kurzer Erfahrungsbericht Introduction Why Agile? Our Transition Role of Testing Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

23 SKALIERUNG VON AGILE AUF ENTERPRISE LEVEL? 35 Teams (~ 6 MA) 7 Standorte Feature Komponenten Auf Teamlevel passt Scrum gut, aber was ist die passende Lösung für: Viele, global verteilte Teams? Ein komplexes Produktportfolio? Standalone oder Systemmodul Lebenszyklus: 3 20 Jahre Releases: 2 4 pro Jahr Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

24 SAFE ALS BEISPIEL EINES FRAMEWORKS FÜR LEANE & AGILE SOFTWARE ENTWICKLUNG Best Practices für die Entwicklung, Validierung und Lieferung komplexer Software Lösungen Source: bei einer großen Zahl von beteiligten Teams. Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

25 IMPLEMENTIERUNG SAFE BEI AVL BIG PICTURE (ROLLEN) 4 Programme etabliert enthalten mehrere Produktlinien 35 Agile Teams sind den 4 Programmen zugeordnet. Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

26 IMPLEMENTIERUNG SAFE BEI AVL ABLAUF EINES PROGRAMMES Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

27 IMPLEMENTIERUNG SAFE BEI AVL ABLAUF EINES PROGRAMMES Das Release Planning Meeting: (gemeinsame Planung aller Teams) Findet alle 10 Wochen statt Eines per Programm Alle nehmen teil Das Release Planning ist für das Programm, was die Sprint Planung für das Team ist. Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

28 IMPLEMENTIERUNG SAFE BEI AVL ERGEBNIS DES RELEASE PLANNING MEETINGS Team PI objectives Program Board Confidence vote Source: Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

29 IMPLEMENTIERUNG SAFE BEI AVL IMPRESSIONEN VOM RELEASE PLANNING 1/3 TEAMS PLANEN DIE NÄCHSTEN 5 SPRINTS DER PROGRAMMITERATION UND KLÄREN TECHNISCHE ABHÄNGIGKEITEN ZWISCHEN DEN TEAMS. Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

30 IMPLEMENTIERUNG SAFE BEI AVL IMPRESSIONEN VOM RELEASE PLANNING 2/3 TEAMS PRÄSENTIEREN DEN PLAN UND ABHÄNGIGKEITEN, SOWIE RISIKEN UND HINDERNISSE. Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

31 IMPLEMENTIERUNG SAFE BEI AVL IMPRESSIONEN VOM RELEASE PLANNING 3/3 DAS PROGRAMMBOARD HIGH LEVEL PLAN DER NÄCHSTEN 10 WOCHEN Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

32 DIE ROLE DES TESTS IN DER AGILEN TRANSITION Änderung der Test Strategie um die agile Transition zu unterstützen Introduction Why Agile? Our Transition Role of Testing Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

33 Supporting Development Critique Product AGILE TEST MATRIX Business Facing Functional Testing Use Case / User Story Testing Feature Testing System Acceptance Test Explorative Testing Scenario Testing User Acceptance Testing Alpha & Beta Testing Unit & Component Testing Classes Methods Interfaces System Qualities Test Performance & Load Testing Security Testing Usability Testing Technology Facing Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

34 FRÜHER: TEST STRATEGIE AUF SYSTEMEBENE TESTS AUF SYSTEMEBENE Durchführung manuell oder teil-automatisiert Testziel komplexes integriertes System mehrerer Produkte (real world scenario) Viele Testfälle kombiniert (so viele als möglich) Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

35 FRÜHER: TEST STRATEGIE AUF SYSTEMEBENE VORTEIL Wenn der Test passed, hohes Vertrauen in die Gesamtlösung Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

36 FRÜHER: TEST STRATEGIE AUF SYSTEMEBENE NACHTEIL Wenn der Test fehlschlägt, Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

37 FRÜHER: TEST STRATEGIE AUF SYSTEMEBENE NACHTEIL Wenn der Test fehlschlägt, bedarf es komplexer Analyse zur Ursachenidentifikation Die Testfälle sind, Schwer zu warten Nur ausführbar wenn das Gesamtsystem vorhanden Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

38 Supporting Development Critique Product AGILE TEST MATRIX Business Facing Functional Testing Use Case / User Story Testing Feature Testing System Acceptance Test Explorative Testing Scenario Testing User Acceptance Testing Alpha & Beta Testing Unit & Component Testing Classes Methods Interfaces System Qualities Test Performance & Load Testing Security Testing Usability Testing Technology Facing Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

39 Supporting Development Critique Product AGILE TEST MATRIX Business Facing Functional Testing Use Case / User Story Testing Feature Testing System Acceptance Test Explorative Testing Scenario Testing User Acceptance Testing Alpha & Beta Testing Unit & Component Testing Classes Methods Interfaces System Qualities Test Performance & Load Testing Security Testing Usability Testing Technology Facing Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

40 FRÜHERE TESTSTRATEGIE: WAS WAREN DIE RESULTIERENDEN PROBLEME Test war auf System Readiness fokusiert und wurde iterativ in Alpha & Beta Phasen durchgeführt PROBLEME Verspätete Release-Termine und Kostenüberschreitungen wegen: Spät identifizierter Bugs Späten Änderungswünschen Hohen Aufwänden für Regressionstests Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

41 AKTUELLE TESTSTRATEGIE: UNIT & KOMPONENTEN TESTS UNIT TESTS Teams für zentrale Komponenten entwickeln Unit Tests (neue SW) VORTEILE Debugging von fehlerhaften Tests ist wesentlich einfacher Schnelleres Feedback Tests werden öfter ausgeführt Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

42 AKTUELLE TESTSTRATEGIE: FUNKTIONALES TESTEN ÜBERBLICK Teams & Systemteam entwickeln automatisierte funktionale Tests Basis ist ein gemeinsames Test Automation Framework (TAF) Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

43 AKTUELLE TESTSTRATEGIE: FUNKTIONALES TESTEN ERFOLGSFAKTOREN TAF 1/2 Testentwicklung folgt den Best Practices der Software Entwicklung Entwicklungs-Skills notwendig Fokus Wartbarkeit Gängige Programmiersprache & Tools Einsatz des Page-object Patterns Testfälle einfach zu codieren und einfach zu lesen // Start PUMAOpen environment var applicationmanager = ApplicationManager.StartApplicationManager(); var puma = applicationmanager.startpumaopen(); puma.gotomanual(); // Test case var speed = puma.channel(quantities.speed); puma.engine.start(); Assert.That(puma.Engine.Running, Is.True); Assert.That(speed.Value, Is.AtLeast(500)); puma.engine.stop(); Assert.That(puma.Engine.Running, Is.False); Assert.That(speed.Value, Is.EqualTo(0)); Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

44 AKTUELLE TESTSTRATEGIE: FUNKTIONALES TESTEN ERFOLGSFAKTOREN TAF 2/2 Qualitätssicherung der Änderungen in TAF durch Unit Tests für TAF Funktionen Code Review durch Peer Static Code Metrics (in Evaluierung) Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

45 AUTOMATISIERTE FUNKTIONALE TESTS: EIN PAAR FAKTEN 1/3 Automatisierter Test (Produkt PUMA Open): Lines of Code Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

46 AUTOMATISIERTE FUNKTIONALE TESTS: EIN PAAR FAKTEN 2/3 Automatisierter Test (Produkt PUMA Open): Manuelle Anteile Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

47 AUTOMATISIERTE FUNKTIONALE TESTS: EIN PAAR FAKTEN 3/3 Commits von 30 Entwickler / 4 Standorte tests (2.600 inklusive Permutationen) ~17 Stunden Laufzeit (60 hrs Ende 2015) Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

48 Supporting Development Critique Product AKTUELLE TESTSTRATEGIE: MODELLBASIERTES TESTEN Business Facing Functional Testing Use Case / User Story Testing Feature Testing System Acceptance Test Explorative Testing Scenario Testing User Acceptance Testing Alpha & Beta Testing Unit & Component Testing Classes Methods Interfaces System Qualities Test Performance & Load Testing Security Testing Usability Testing Technology Facing Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

49 MODELLBASIERTES TESTEN BEISPIEL GERÄTEINTEGRATION Kommunikation via Status basierendes Protokoll Particle Counter Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

50 MODELLBASIERTES TESTEN MODELL DER GERÄTE-KOMMUNIKATION IN UML Model Abstract Test Cases Real Test Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

51 MODELLBASIERTES TESTEN FORSCHUNGSPROJEKT TRUFAL Tool-Chain Model-Based Mutation Testing Bernhard K. Aichernig: Institute of SW Technology, Graz University of Technology [1]: Model-Based Mutation Testing of Reactive Systems UML Model Model State Chart AVL 489 Test Generator AIT/TU Graz Abstract Abstract Testcases Test Aldebaran- File-Format Cases NUnit Testcases Real C# Tests Adapter TAF Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

52 Supporting Development Critique Product FUTURE WORK: AUTOMATISIERTER SYSTEM QUALITIES TEST Business Facing Functional Testing Use Case / User Story Testing Feature Testing System Acceptance Test Explorative Testing Scenario Testing User Acceptance Testing Alpha & Beta Testing Unit & Component Testing Classes Methods Interfaces System Qualities Test Performance & Load Testing Security Testing Usability Testing Technology Facing Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

53 FUTURE WORK: AUTOMATISIERTER SYSTEM QUALITIES TEST Trust via cost function driven model based test case generation for non-functional properties of systems of systems Funded by Austrian Research Promotion Agency (FFG) in the Programme ICT of the Future Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

54 FUTURE WORK: TRUCONF PROJEKTDATENBLATT Topic: Model Based Testing of non-functional properties targeting Systems of Systems (SoS) and Cyber Physical Systems (CPS) load, performance, stress and scalability Runtime: Partners: AIT Austrian Institute of Technology GmbH AVL List GmbH Technische Universität Graz, Institut für Softwaretechnologie Volume: 850k Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

55 ANSATZ Requirements Modeling Cost Learning Cost Test Behavior Model Model Model Load Data Test Environment Test Environment Load Measurement Test Load Case Test Generation Case Generation Tests System under Test Test Oracle Test Verdict Aufbauend auf modellbasiertem Test. Ziel ist das automatische Generieren von Testfällen für: Lasttests Performance-Tests Skalierbarkeits-Tests Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

56 PROJEKT STRUCTURE Use Case Elaboration and Modelling (AVL) Project Coordination (AIT) Test Case Generation Techniques and Tools (TU GRAZ) Cost Model Learning Techniques and Tools (AIT) Dissemination and Exploitation (TU GRAZ) Tool Evaluation (AVL) Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

57 Team Program MARKT FREIGABE VON SW PRODUKTEN FINALE QUALIFIZIERUNG VON RELEASES Program Increment Release Planning Inspect & Adapt Program iteration - 10 weeks System Increment Product Release Suite Release System Demo SW Increment Sprint - 2 weeks Product & Suite Release Sprint Demo / Sprint Review * Leffingwell et al. Scaled Agile, Inc. Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

58 SW PRODUKTE SIND IN MECHATRONISCHEN KUNDENSYSTEMEN EINGEBETTET LU (System environment) L0 Test Facilities (i.e. test beds, rigging areas, test info mgmt.) L1 Test Bed (i.e. reference solution, customer specific solution) L2 Modules (i.e. load-, automation-, measurement systems) L3 Product (i.e. measurement device, calibration software) L4 Article (i.e. interface card, SW-plugin, data cable) L++ HW E/E SW board HW board E/E board SW Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

59 PROGRAMM MANAGEMENT ERFOLGT NACH DEM V-MODELL Customer Customer requirements Market Release Tryout / Field Test System Requirements System Specification System Architectur Requirements Management Test Management Interface Management Validiation Verification System Integration Requirements Validation Product Specification Architectur & Design Functional Test Integration Implementation Unit Test Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

60 AKZEPTANZSTRATEGIE 4 STUFEN DER INTEGRATION & ABNAHME Product TEST 1 Product Test Product Requirements Robustness and Maturity Product Validity on Product level AVL Product Teams Qualif. Test 2 Qualif. Test SUITE Integration Test Cross-product Interfaces Robustness and Maturity SUITE Validity of SUITE AVL Test Center - Suite Program 3 Pilot Program Pilot Test Reference Integration Test Customer Device Interfaces Customer Reference Configurations (Deployment & Reference Applications) Key Use Cases AVL Test Center Customer Environment 4 Interoperability & Business Interfaces Robustness & Maturity System Validity of Solution Customer Pilot systems Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

61 AVL SOFTWARE TESTCENTER TESTUMGEBUNGEN FÜR INTEGRATIONSSTUFEN Data Center Virtual Test Fields o Test-field simulation for servers & clients o Customer specific IT environments Powertrain Simulation & HIL Systems o Real dyno interface o Powertrain simulated o Engine simulated Real Test Cells Validation o Various test configurations o Validation with AVL engineering experts Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

62 ZUSAMMENFASSUNG 1. Vorstellung AVL 2. Warum agiler werden? 3. Unsere Transition 4. Rolle Test Agile Test Matrix Introduction Why Agile? Our Transition Role of Testing Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

63 KONTAKT DI. Robert Korošec Global Manager SUITE & Test Center Integration Software Products Instrumentation and Test Systems Office: Tel: Mobile: mailto: AVL LIST GMBH A-8020 Graz, Hans-List-Platz 1 Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni

64 VIELEN DANK

65 REFERENZEN [1] Prof. Dr. h.c. Helmut LIST: Industrie 4.0: Die Zukunft der Produktion, Science Forum, Wien 2014 [2] Abschlussbericht des Arbeitskreises Industrie 4.0 April 2013, Acatech, Deutsche Akademie der Technikwissenschaften. [3] Dean Leffingwell: Foundations of the Scaled Agile Framework, Leffingwell et al Scaled Agile, Inc [4]: B. K. Aichernig, J. Auer, E. Jöbstl, R. Korošec, B. Schmidt, R. Schlick Model-Based Mutation Testing of an Industrial Measurement Device Proceedings of the 8th International Conference on Tests and Proofs (TAP 2014), York, United Kingdom, , LNCS 8570, Springer [5]: R. Korošec, R. Pfarrhofer Supporting the Transition to an Agile Test Matrix Software Testing, Verification and Validation (ICST), 2015 IEEE 8th International Conference on, Graz, Austria, Robert Korošec AVL List GmbH Instrumentation and Test Systems 21 Juni