Massive Automatisierung von Software-Tests. In einem agilen Automotive Projekt

Transkript

1 Massive Automatisierung von Software-Tests In einem agilen Automotive Projekt

2 Inhalt Die Projektziele Die Projektstruktur und die Rahmenbedingungen Automotive SPICE und Scrum Die Automatisierung der SW-Testfälle Was hat gut funktioniert? Was hat nicht gut funktioniert? Persönliches Fazit Vertraulich - Colenet GmbH 2013

3 Projektziele Kommunikation mit dem Auto

4 Projektziele e-call System

5 Projektziele Steuergerät (ECU) Entwicklung eines Telematik-Steuergerätes Voice-Kommunikation über GSM Datenkommunikation über GPRS Ortsbestimmung via Satellit und GPS Verbindung zum Fahrzeugbus Kommunikation mit anderen ECUs

6 Projektziele Steuergerät (ECU)

7 Inhalt Die Projektziele Die Projektstruktur und die Rahmenbedingungen Automotive SPICE und Scrum kombiniert Die Automatisierung der SW-Testfälle Was hat gut funktioniert? Was hat nicht gut funktioniert? Persönliches Fazit

8 Die Projektstruktur OEM$ Auftrag zur Fertigung einer ECU Automobilzulieferer$ Auswahl Steuerung Koordination Subau3rag5 nehmer$1$ Subau3rag5 nehmer$2$ Subau3rag5 nehmer$3..n$

9 Die Projektstruktur Rollen und Verantwortung Lastenhe3$ Gesamtprojektleiter$ So3ware5Test5 Manager$ Anforderungs5 Manager$ Technischer$ Projektleiter$ System5Test5 Manager$ System5Integrator$ So3ware$ Projektleiter$ So3ware5Entwickler$ Fachbereich$1$ System5Architekt$ So3ware5Tester$ Fachbereich$2$ So3ware5Architekt$ System5Tester$ Fachbereich$3$ Gute$So3ware$ Vertraulich - Colenet GmbH 2013

10 Rahmenbedingung: Automotive SPICE SPICE: (Software Process Improvement and Capability Determination) ist ein internationaler Standard der ISO zum Durchführen von Bewertungen (Assessments) von Unternehmensprozessen, ursprünglich mit dem Schwerpunkt auf der Softwareentwicklung (Wikipedia)! Automotive SPICE ist eine domänenspezifische Variante von SPICE Standard für viele OEMs (und deren Zulieferer) Vertraulich - Colenet GmbH 2013

11 Automotive SPICE Prozess Gruppen Aquisition Process Group (ACQ) ACQ.3 Contract Agreement ACQ. 4 Supplier Monitoring ACQ 14. Request for Proposals Supply Process Group (SPL) SPL.1... SPL Engineering Process Group (ENG) ENG.1 Req. Elicitation! ENG. 2 Sys. Req. Analysis ENG. 3 Sys. Architecture Design ENG. 4 Software Req. Analysis ENG. 5 Software Design ENG. 6 Software Construction ENG. 7 Software Integr. Test ENG. 8 Software Testing (Colenet) ENG. 9 Sys. Integration Testing ENG. 10 Sys. Testing Management Process Group (MAN) MAN. 3 Project Management MAN. 5 Risk Management Process Impr. Process Group (PIM) PIM.3 Process Improvement Reuse Process Group (REU) REU.2 Reuse Program Management Support Process Group (SUP) Sup.1 Quality Assurance Sup. 2 Verification Vertraulich - Colenet GmbH 2013

12 Automotive SPICE Reifegrade Vertraulich - Colenet GmbH 2013

13 Automotive SPICE basiert auf dem V-Modell Anforderungs5$ definijon$ FunkJonaler$$ Systementwurf$ Technischer$ Systementwurf$ Testfälle IntegraJons5$ tests$ System5$ tests$ Abnahme5$ tests$ Komponenten$ SpezifikaJon$ Komponenten5$ tests$ Programmierung$

14 Inhalt Die Projektziele Die Projektstruktur und die Rahmenbedingungen Automotive SPICE und Scrum kombiniert Die Automatisierung der SW-Testfälle Was hat gut funktioniert? Was hat nicht gut funktioniert? Persönliches Fazit

15 Automotive SPICE und Scrum

16 Automotive SPICE und Scrum

17 Automotive SPICE und Scrum Ohne Zweifel: kein perfektes Scrum System-Architekturphase Software-Architekturphase SPICE-Dokumente sind Teil der Arbeit im Sprint (Micromanagement) SPICE-Dokumente sind Teil der DoD

18 Automotive SPICE und Scrum Dokumentation ist sukzessive und parallel entstanden Einige traditionelle Meetings sind geblieben Der Systemtest lief genau einen Sprint hinterher... auch kein perfektes Automotive SPICE In Summe: Ein recht erfolgreiches Projekt!

19 Inhalt Die Projektziele Die Projektstruktur und die Rahmenbedingungen Automotive SPICE und Scrum kombiniert Die Automatisierung der SW-Testfälle Was hat gut funktioniert? Was hat nicht gut funktioniert? Persönliches Fazit

20 Software-Tests Engineering 8 in Aut. SPICE Zwischen Unit-Tests und System-Tests Test von Features und kompletten Abläufen (e-call) White-Box ist möglich Wir kennen die Sourcen Tests laufen auf dem Steuergerät Tests des fertigen SW-Produktes vor der Integration mit der Hardware

21 Geschichte der Automatisierung Das System Kommunikation mit der Außenwelt CAN Anschluss an das! Bus-System! des Fahrzeugs CAN5MCU$ C$ Base$Band$ Java$ GSM GPRS

22 Geschichte der Automatisierung Die Umgebung

23 Geschichte der Automatisierung Alles Manuell

24 Geschichte der Automatisierung Alles Manuell Phase 1 Alles Manuell ca. 200 Testfälle ca. 20 Test-Suites Komplette Regression: 2 Tage mit 4 Software-Testern Aber: Das Projekt war noch lange nicht zu Ende...

25 Geschichte der Automatisierung 1. Optimierung

26 Geschichte der Automatisierung 2. Optimierung

27 Geschichte der Automatisierung Situation nach der Optimierung Wir haben es mit ca. 350 Testfällen zu tun 4 Software-Tester brauchen ca. 2,5 Tage für eine Regression Die Tests finden nur statt, wenn die Tester am Arbeitsplatz sind Keine neuen Tests während der Testausführung

28 Geschichte der Automatisierung Neue Hardware Weitere Optimierung für mehr Parallelität Dezidierte Steuergeräte für das Testen Dezidierte Test-PCs keine Arbeitsplatzrechner

29 Geschichte der Automatisierung Neue Hardware

30 Geschichte der Automatisierung Neue Hardware So weit so gut Tests konnten auf den neuen Umgebungen ausgeführt SW-Tester konnten parallel neue Tests entwickeln Eine deutliche Verbesserung war spürbar Leider war das Projekt noch immer nicht zu Ende...

31 Geschichte der Automatisierung Kippschalter

32 Geschichte der Automatisierung Kippschalter

33 Geschichte der Automatisierung Kippschalter

34 Geschichte der Automatisierung neue Software CTA für die Testautomatisierung Eine neue Software für die Steuerung des gesamten Testablaufs Ziel: Komplett automatische aller nicht manuellen Tests CTA

35 Colenet Test Automation (CTA) Jenkins Server Test PC ECU LOG-File Parser CTA External Trigger Wait for signal Update Repository Download Binaries Compile all! Test-Suites

36 Testumgebung vorbereiten Jenkins Server Test PC ECU LOG-File Parser CTA Create Testplan Create Build Flash CAN MCU Flash Base Band Start ECU Wait 120 Seconds

37 Alle Test-Suites mit allen Tests ablaufen lassen Jenkins Server Test PC ECU LOG-File Parser CTA Schleife über alle Test-Suites Compile Test-Suite Flash Base Band Start Start Report Test Execution Results Next Test-Suite Stop

38 Geschichte der Automatisierung neue Hardware Ergebnis System läuft jetzt komplett autark Von uns programmierte Relais-Karte SW-Lifecycle Ca. 900 Testfälle werden ausgeführt 2 PCs konnten die Gesamtlaufzeit von ca. 50h auf ca. 25h senken Leider war das Projekt noch immer nicht zu Ende... Dank linearer Skalierung der Umgebung ist das gar nicht schlimm Bis zu 30 Builds in einem Sprint

39 Inhalt Die Projektziele Die Projektstruktur und die Rahmenbedingungen Automotive SPICE und Scrum kombiniert Die Automatisierung der SW-Testfälle Was hat gut funktioniert? Was hat nicht gut funktioniert? Persönliches Fazit

40 Was gut funktioniert hat Das Projekt ist erfolgreich live gegangen! Scrum hat (auch hier) zu einem schnellen lernen geführt Teamkommunikation (Scrum-Meetings) Skeptische Kollegen konnten (fast immer) überzeugt werden Überwiegend positives Feedback vom Auftraggeber Andere Projekte und Abteilungen befassen sich mit dem Thema

41 Was gut funktioniert hat Automatisierung von SW-Tests hat sehr gut funktioniert Testframework und Konzept erlaubt lineare Skalierung Komplette Regression in sehr kurzer Zeit möglich Zitat einiger SW-Entwickler:! Hätten wir nicht Scrum genutzt, dann wären wir jetzt noch nicht so weit wie wir sind Bitte keinen Wasserfall mehr...

42 Inhalt Die Projektziele Die Projektstruktur und die Rahmenbedingungen Automotive SPICE und Scrum kombiniert Die Automatisierung der SW-Testfälle Was hat gut funktioniert? Was hat nicht gut funktioniert? Persönliches Fazit

43 Was nicht gut funktioniert hat Anforderungsanpassungen über die gesamte Laufzeit Unklare Anforderungen PO Rolle zu schwach ClearQuest Ticket-Stapel 25 Tage Eher Vorgabe als Auswahl für Sprintarbeit Einige (nicht Scrum) Meetings wurden als unproduktiv empfunden Übertragung von Verantwortung ins Team

44 Inhalt Die Projektziele Die Projektstruktur und die Rahmenbedingungen Automotive SPICE und Scrum kombiniert Die Automatisierung der SW-Testfälle Was hat gut funktioniert? Was hat nicht gut funktioniert? Persönliches Fazit

45 Mein Fazit Ein erfolgreiches Projekt! Komplexität und die Methode Automotive SPICE und Scrum funktionieren zusammen Erfahrener PO hat gefehlt Es mussten sehr viele Dinge getan werden, die in keinem Plan standen Massive Einsparungen sind möglich Veränderung der Unternehmenskultur notwendig Wo liegt die Grenze zur Spezialisierung?

46 Mein Fazit Was automatisiert werden kann wird automatisiert Ohne wenn und aber!

47 Letzte Folie Vielen Dank! Haben Sie Fragen?