Automatisierung von Testmanagementaufgaben

Transkript

1 Automatisierung von Testmanagementaufgaben Q-Event Luzern, «Effizienter Testen aber wie?» Heribert Neu Senior Testmanager

2 Referent Heribert Neu, Senior Testmanager, bbv Software Services AG Heribert Neu arbeitet seit 2013 für die bbv Software Services AG und betreut mehrere Kunden im Qualitäts- und Testmanagement. Heribert Neu ist Diplom-Physiker und arbeitete nach seinem Studium zunächst in der Software-Entwicklung von Netzleitsystemen als Software-Ingenieur und Projektleiter. Seit 2000 berät er Kunden aus verschiedenen Branchen (Energieversorgung, Automobil- und Flugzeugindustrie, Banken) insbesondere im IT-Qualitäts- und Testmanagement. Aktueller Schwerpunkt seiner Tätigkeiten bei der bbv Software Services AG ist die Beratung im Qualitäts- und Testmanagement und die Erstellung von Testkonzepten.

3 Abstract Je höher die Qualitäts- und Testanforderungen sind, desto wichtiger und nutzbringender sind Effizienzverbesserungen im Testprozess. Die industrielle Fertigung und Inbetriebnahme von Anlagen der Stromübertragung und -verteilung ist ein Gebiet mit höchsten Sicherheits- und Testanforderungen. In diesem Bereich hat bbv für einen Kunden folgende Testmanagementaufgaben optimiert und automatisiert: Testplanung über alle Teststufen Testaufwandsschätzung Verlinkung von Testausführung, Testfällen und Requirements Erstellung von Testplänen und Testreports für die Endkunden Abgleich der Requirements Neben der Erzielung von Einsparungen bei den Testing-Aufwänden sind auch erhöhte Mitarbeiterzufriedenheit und -motivation die positiven Effekte der Effizienzsteigerungen. Ausserdem beeindruckt die professionelle Testplanung und - dokumentation die Endkunden. Der Vortrag zeigt die einzelnen Massnahmen zur Optimierung und Automatisierung im Testmanagement in diesem Projekt auf. Diese im Vortrag vorgestellten Massnahmen lassen sich auch in Softwareentwicklungsprojekten und für die Prozesse in der Softwareproduktentwicklung nutzbringend anwenden.

4 Thema Effizienter Testen - aber wie? Effizienter Testen: Präzisere und umfangreichere Testergebnisse mit weniger Aufwänden

5 Automatisierung von Testmanagementaufgaben Agenda Aufgabe: Testen industriell gefertigter Systeme Lösung: Optimierte Testprozesse Einführung von Werkzeugen bbv Test Management Suite

6 Aufgabe: Testen der Systeme zur Stationsautomatisierung Diese komplexen Systeme bestehen aus Stationsleitrechnern, einem Kommunikationsnetzwerk und bis zu mehreren hundert sogenannter intelligenter elektronischer Baugruppen, die Schutz- oder Kontrollfunktionen übernehmen.

7 Aufgabe: Testen in der industriellen Fertigung Systeme, Subsysteme und Systemkomponenten Typisierte Komponenten Teststufen FT Factory Test = Werkstest FAT Factory Acceptance Test = Werksabnahmetest ST Site Test = Installations-Test SAT Site Acceptance Test = Endabnahmetest

8 Lösung: Durchgängige, standardisierte Testprozesse über alle Teststufen Ergebnis Auswahlverfahren Standard-Tool: HP Quality Center bbv-entwicklung: Test Management Suite für HP Quality Center (für Massenoperationen im HP Quality Center)

9 Requirementsimport Die Systeme mit ihren Baugruppen werden in spezialisierten Engineering-Werkzeugen spezifiziert. Das Engineering-System und der HP Quality Center werden über eine XML-basierte Schnittstelle direkt gekoppelt. Dabei werden die Angaben aus dem Engineering-Tool auf die Attribute im QC-Datenmodell transformiert. Die Testfälle gibt es je Baugruppentyp und Funktionstyp in einem Standardtestfallkatalog. Da die Requirements ihren Typ (ob Baugruppe oder Funktion) als Attribut enthalten (dafür sorgt auch der XML-Import) lassen sich Testfälle und Requirements bereits jetzt einander zuordnen. Diese Information ist in der Datenbank bereits enthalten.

10 Requirements-Import Standard-Testfallkatalog Stations-Leitsystem Spannungsebenen Abgangsfelder Baugruppen Funktionen enthält Testfälle je Typ...

11 Verlinkung Die Zuordnung von Requirements zu Tesfällen oder Instanzen von Testfällen muss man im Quality Center manuell vornehmen. Bei einer Grössenordnung von 1000 Requirements und ca. 5 Testfällen je Requirement ist man damit ca. 1 Woche beschäftigt, dies ohne die Fehler zu berücksichtigen, die bei manueller Arbeit leicht vorkommen können. Dabei sind in unserem Falle bereits alle Informationen in der Datenbank, um diese Verlinkung automatisiert vorzunehmen. Und genau dafür gibt es eine Funktionalität in der Testmanagement-Suite, die das mit einem Mausklick erledigen kann.

12 Testplanung Das kann aber nicht direkt über eine Verlinkung der Testfälle erfolgen, denn jedes einzelne Requirement (Baugruppe, Funktion) soll im Test getrennt verfolgt werden. Deshalb brauchen wir Instanzen der Testfälle und zwar für jedes einzelne Requirement. Darüberhinaus soll die Testabdeckung jedes Requirements in jeder der 4 Teststufen verfolgt werden. Deshalb braucht man Instanzen der Tesfälle für jedes einzelne Requirement in jeder relevanten Teststufe. Und dazu muss man festlegen welche Teststufe für jedes einzelne Requirement relevant ist. Das geschieht in der Testplanung.

13 TM-Suite: Testplanung

14 TM-Suite: Testplanung Electric Utility Company

15 Speichern der Testplanung Mit dem Speichern der Testplanung werden zugleich die Instanzen der Testfälle erzeugt und diese Instanzen auf die Requirements verlinkt. Das manuelle Erzeugen der Testinstanzen würde ca. 1 weitere Woche Aufwand bedeuten. Hier spart die Test Management-Suite je Projekt und je Testufe (mit 1000 Requirements und je 5 Testinstanzen) ca. 2 Wochen Arbeit ein. Dazu hat man noch eine übersichtliche Testplanung auf Requirementsebene.

16 TM-Suite: Automatische Testaufwandsschätzung

17 TM-Suite: Automatische Erstellung der Test Sets Einbindung der erstellten Test-Instanzen entsprechend Testplan Auch schrittweise (in geteilten Aufgabenpaketen) möglich Testaufwand lässt sich je Aufgabenpaket ermitteln

18 TM-Suite: Requirements-Pflege

19 TM-Suite: direkter Requirements-Export System Design Export der Systemstruktur System Engineering Vervollständigung der Systeminformationen im Test- und Prüfprozess Ziel: System-Service und Maintenance auch mit verknüpften Testresultaten Import Requirements System Subsystem Component Function Export System Service Archive

20 TM-Suite: Attachment Viewer

21 HP QC: Beispiele zum Test Reporting

22 Zusammenfassung: Werkzeuge Übersicht Ende 2013: Requirements Import Requirements Export Testplanung Testvorbereitung Traceability Special Functions Testfallkatalog Test Reporting Testausführung Defecterfassung bbv Test Management Suite HP Quality Center Web Client HP QC Mini Apps - Offline Test Execution - Offline Defect Submission

23 Zusammenfassung: Automatisierte Funktionen durch bbv Test Management Suite direkter Import und Export der Requirements Erstellung der Test Configurations Kalkulation des Testaufwands Erstellung der Test Sets Erstellung und Pflege der Traceability-Relationen: Requirement Test Configuration Test Set

24 Ergebnisse Prozesse verbessert für: Testplanung, Testvorbereitung, Testdokumentation und Testauswertung Genauere Testaussagen (durch Auswertung aller Teststufen und durch Cross-Project Auswertungen) Reduzierung der Aufwände durch Tool-Unterstützung für: Testplanung, Testvorbereitung, Testdokumentation und Testauswertung Höhere Kundenzufriedenheit durch professionelle Testplanung und Testdokumentation

25 Danke! Heribert Neu