Vom Fool with a Tool zum Virtuosen Wie Testprozesse und Testwerkzeuge ineinander greifen www.imbus.de
imbus Firmenprofil imbus kademie Process Improvement Consulting Testing Services imbus Testench 2006 Vom Fool with a Tool zum Virtuosen slide 2
Motivation! Testwerkzeuge, die nicht zum Prozess passen! Falsches Vorgehen bei Tooleinführung und -einsatz! Hohe Investitionen - geringer Nutzen! Prozesse, die als Tretmühle empfunden werden! Prozesse, die nicht gelebt werden! Chancen, die nicht genutzt werden 2006 Vom Fool with a Tool zum Virtuosen slide 3
Test Process Improvement ufwand Entwicklung Test Professionalisierung des Testens Testautomation & Reuse 198x Test Process Improvement 200x imbus Partner: Martin Pol 2006 Vom Fool with a Tool zum Virtuosen slide 4
TPI als kontinuierlicher Änderungsprozess Obtain awareness Determine target, area of consideration and approach? Execute assessment Define improvement actions Perform Evaluation Formulate plan Implement improvement actions TPI! is a registered trademark of Sogeti.V. 2006 Vom Fool with a Tool zum Virtuosen slide 5
Das TPI Modell Kernbereiche Ebenen Test Maturity Matrix Checkpoints Verbesserungsvorschläge 2006 Vom Fool with a Tool zum Virtuosen slide 6
Metapher Schulfächer Noten Zeugnis Prüfungen Unterricht, Nachhilfe. 2006 Vom Fool with a Tool zum Virtuosen slide 7
Test Maturity Matrix: Kernbereiche Kernbereich Teststrategie Einsatz Phasenmodell Zeitpunkt der eteiligung Kostenvoranschläge und Planung Test- Spezifikationstechniken Statische Testtechniken Metriken Test Tools Testumgebung Testarbeitsplatz Engagement und Motivation Testfunktion und usbildung Tools als eigener Kernbereich Reichweite der Methodik Kommunikation erichterstattung bweichungsmanagement Testware Management.. War s das schon? Testprozeßmanagement Prüfen Low-Level Tests 2006 Vom Fool with a Tool zum Virtuosen slide 8
Test Maturity Matrix: Ebenen Kernbereich Teststrategie Einsatz Phasenmodell Zeitpunkt der eteiligung Kostenvoranschläge und Planung Test- Spezifikationstechniken D D Planning and Control Tools Statische Testtechniken Metriken Test Tools Testumgebung Testarbeitsplatz Engagement und Motivation Testfunktion und usbildung Reichweite der Methodik Kommunikation erichterstattung bweichungsmanagement D D Execution and nalysis Tools Extensive utomation of the Testing Process Testware Management Testprozeßmanagement Prüfen Low-Level Tests D Tipp Nr. 1: beginnen Sie mit dem Tooling im Defect- und Testmanagement!! 2006 Vom Fool with a Tool zum Virtuosen slide 9
Test Maturity Matrix: Prioritäten Kernbereich Teststrategie Einsatz Phasenmodell Zeitpunkt der eteiligung C D D Kostenvoranschläge und Planung Test- Spezifikationstechniken Statische Testtechniken Metriken Test Tools Testumgebung Testarbeitsplatz Engagement und Motivation Testfunktion und usbildung Reichweite der Methodik Kommunikation erichterstattung bweichungsmanagement Testware Management Testprozeßmanagement Prüfen Low-Level Tests D C D D Tipp Nr. 2: Sorgen Sie für die absolut notwendigen asisprozesse! utomating chaos leads to faster chaos (D. Graham) 2006 Vom Fool with a Tool zum Virtuosen slide 10
Test Maturity Matrix: bhängigkeiten Kernbereich Teststrategie Einsatz Phasenmodell Zeitpunkt der eteiligung In-Out metrics are calculated: used hours, performed D activities, size of system, # of test cases, # tests performed, defects by prio.. D Kostenvoranschläge und Planung Test- Spezifikationstechniken Statische Testtechniken Metriken Test Tools D Testing is part of project organization: seen as a positive influence, management wants to have insight into depth of testing,.. Testumgebung Testarbeitsplatz Engagement und Motivation Testfunktion und usbildung Reichweite der Methodik Kommunikation erichterstattung bweichungsmanagement Testware Management Testprozeßmanagement Prüfen Low-Level Tests D D Report on: Progress of test activities, costs, time, defects with priorities Internal Defect Mgmt: administer life cycle of defects (new, study,.. retest, closed), record: unique id, person, date, severity, status,.. Tipp Nr. 3: Nutzen Sie Tools, um Voraussetzungen Plan, execute, monitor, für Ihre adjust: all eigentlichen activities, Verbesserungsziele time and money, zu etablieren document - verbessern deviations, Sie in this den Prozess case: nicht make adjustments wegen der Tools! 2006 Vom Fool with a Tool zum Virtuosen slide 11
Test Maturity Matrix (TMM) Skala für Skala Kernbereich Stufe 0 1 2 3 4 5 6 7 8 9 10 11 12 13 Teststrategie D Einsatz Phasenmodell Zeitpunkt der eteiligung Kostenvoranschläge und Planung Test- Spezifikationstechniken Prozessreife erhöhen D Kernbereiche Statische Testtechniken Metriken Test Tools Testumgebung Testarbeitsplatz Engagement und Motivation Testfunktion und usbildung Reichweite der Methodik Kommunikation erichterstattung bweichungsmanagement Testware Management Testprozeßmanagement Prüfen Low-Level Tests D bhängigkeiten D D Ebenen (,, C, D) 2006 Vom Fool with a Tool zum Virtuosen slide 12
Welche Kernbereiche werden durch Tools gestützt? Test Management Test utomation Defect Management White ox nicht beeinflusste Kernbereiche:! Zeitpunkt der eteiligung! Testarbeitsplatz! Engagement& Motivation Unterstützung! gering! mittel! hoch Teststrategie Einsatz Phasenmodell Kostenvoranschlag/Planung Test-Spezifikationstechniken Statische Testtechniken Metriken Test Tools Testumgebung Testfunktion und usbildung Reichweite der Methodik Kommunikation erichterstattung bweichungsmanagement Testware Management Testprozeßmanagement Prüfen Low-Level Tests 3 3 3 9 3 3 3 9 3 9 9 3 1 1 1 1 1 1 9 1 3 9 3 9 3 3 1 3 3 2006 Vom Fool with a Tool zum Virtuosen slide 13
Test Tools: best practices für bessere Prozesse Legende: TM = Test Mgmt T = Test uto DM = Defect Mgmt W = White ox Kernbereich TM: Teststrategie Statusmodell für Planung, Spezifikation Einsatz Phasenmodell u. Durchführung Zeitpunkt der eteiligung Kostenvoranschläge und Planung Test- Spezifikationstechniken TM: textuelle Spezifikationen Statische Testtechniken Metriken Test Tools Testumgebung Testarbeitsplatz Engagement und Motivation Testfunktion und usbildung DM: erichte über Reichweite der Methodik bweichungen Kommunikation erichterstattung TM: Planung mit Risiken und Prioritäten für den Systemtest Stufe 0 1 2 3 4 5 6 7 8 9 10 11 12 13 D TM: ufwände abschätzen TM: Einsatz für Planung & Kontrolle TM: Risiken und Prioritäten in allen High- Level-Tests koordinieren D D TM: formale Spezifikationen T: Einführung Testautomatisierung TM: erichte über Fortschritt und ktivitäten TM:.. plus Vorund Nachbereitung TM:.. plus Low- Level Tests TM: Metriken über Risiken und Qualität D TM:.. plus statische Tests TM: ufwände statistisch prognostizieren bweichungsmanagement Testware Management Testprozeßmanagement DM: testintern Prüfen Low-Level Tests D DM: quantitative und statistische erichte DM: projektweit 2006 Vom Fool with a Tool zum Virtuosen slide 14
Von der best practice zur Toolanforderung Kernbereich Stufe 0 1 2 3 4 5 6 7 8 9 10 11 12 13 Teststrategie D Einsatz Phasenmodell Zeitpunkt der eteiligung D Kostenvoranschläge und Planung Test- Spezifikationstechniken Engagement und Motivation Testthemen, Zuordnung von Verantwortlichkeiten, Testfunktion und usbildung Ziel: Einführung Statische einer Testtechniken Teststrategie für eine High- Level Teststufe (z.. Systemtest). Diese berücksichtigt Metriken Testziele, Produktrisiken, verfügbare Ressourcen und Test Tools Zeit. Testumgebung Verfahren: Dokumentation der Testziele durch Testarbeitsplatz Testthemen, Zuordnung von Prioritäten zu Schätzung der benötigten ufwände für Spezifikation und Durchführung Reichweite der Tests der Methodik (optional auch Testautomatisierung); Kommunikation iterative Planungszyklen bis die Teststrategie die Einschränkungen erichterstattung durch udget und Zeit einhält bweichungsmanagement nforderungen: Testware Keywords/Tags Management zur Zuordnung von Testzielen zu Testfällen; integrierte ufwandsschätzungsfunktionen mit ggregation; Testprozeßmanagement Prüfen benutzerdefinierte Felder zur Zuordnung von Low-Level Tests Risikoklassen und Konplexitätsmaßen D Ziel: lle High-Level-Teststufen werden C koordiniert, so dass nichts vergessen wird, aber auch Redundanzen vermieden werden. Tests werden derjenigen Stufe zugewiesen, in die sie am besten passen. Dadurch werden Testaufwand und Kosten ohne Risikoerhöhung reduziert. Verfahren: Gemeinsame Hierarchie von Testthemen und Testfällen für alle Stufen; Markierung der Zugehörigkeit; Filtereinsatz, um alle Tests einer Stufe gemeinsam bearbeiten zu können. nforderungen: hierarchische Gliederung von Testfällen; Filterfunktionen; Massenbearbeitung von gefilterten Mengen möglich D D 2006 Vom Fool with a Tool zum Virtuosen slide 15
Von der best practice zur Toolanforderung Tipp Nr. 4: Evaluieren Sie Toolalternativen mit einem gut motivierten Kriterienkatalog! Werfen Sie einen lick in die ISO/IEC 14102 ( guideline for the evaluation and selection of CSE tools ) Testthemengliederung Gewichtung Tool Tool Tool C Tool D Unterstützung einer hierarchischen Gliederung (aumstruktur, Explorer) 3 0 3 0 0 Möglichkeit der Markierung von Testfällen und Testthemen mit Tags, Keywords o.ä. 3 0 3 0 0 benutzerdefinierte Felder mit "List of Value"-Definitionsmöglichkeiten 3 5 5 5 0 Möglichkeit zur Filterung des aums nach beliebigen Kombinationen von Kriterien 3 5 5 3 3 Darstellung der Filterergebnisse in Client-nsicht 3 0 2 0 0 Erstellung von Reports berücksichtigt aktive Filter 3 0 2 0 0 Massendatenbearbeitung von ganzen Teilbäumen wird unterstützt 3 0 4 3 5 aktive Filter schränken Massendatenbearbeitung ein 3 0 4 0 0 Möglichkeit zur Summierung von Feldinhalten unter erücksichtigung von Filtern 3 5 3 4 3 Testthemengliederung - Prozent von max. Punktzahl 33,3% 73,3% 46,7% 53,3% Prozent normiert 45,5% 100,0% 63,6% 72,7% Prozent normiert und gewichtet 136,4% 300,0% 190,9% 218,2% 2006 Vom Fool with a Tool zum Virtuosen slide 16
Test Maturity Matrix: Reifebereiche Stufe Kernbereich Teststrategie Einsatz Phasenmodell Zeitpunkt der eteiligung Kostenvoranschläge und Planung Test- Spezifikationstechniken Statische Testtechniken D Tipp Nr. 5: Tooleinführung muss ab einem bestimmten Kontrolliert Punkt organisationsweit Effizient Optimierend betrieben werden! Zur Tooleinführung siehe ISO/IEC TR 14471 0 1 2 3 4 5 6 7 8 9 10 11 12 13 ( guidelines for the adoption of CSE tools ) D Projekt " Organization Metriken Test Tools Testumgebung Testarbeitsplatz Test Planning and Control Tools Engagement und Motivation Testfunktion und usbildung Reichweite der Methodik Kommunikation erichterstattung bweichungsmanagement Testware Management Testprozeßmanagement D Execution and nalysis Tools Extensive utomation of the Testing Process D D Prüfen Low-Level Tests 2006 Vom Fool with a Tool zum Virtuosen slide 17
eispiel: zu frühe Testautomatisierung vermeiden evor Sie Testautomatisierung einführen, Kernbereich Stufe Kontrolliert Effizient Optimierend 0 1 2 3 4 5 6 7 8 9 10 11 12 13 Teststrategie D Einsatz Phasenmodell Zeitpunkt der eteiligung Kostenvoranschläge und Planung Test- Spezifikationstechniken Statische Testtechniken Metriken D formale Testspezifikationstechniken.. Führen Sie dazu passende ein,.. D Test Tools Testumgebung Testarbeitsplatz Engagement und Motivation Testfunktion und usbildung Reichweite der Methodik Kommunikation erichterstattung bweichungsmanagement Testware Management Testprozeßmanagement D.. Machen Sie das Team mit diesen vertraut und definieren Sie einen Testmanager,.... der die utomatisierungsplanung übernimmt und für das Configuration Management der Skripte sorgt. D Prüfen Low-Level Tests 2006 Vom Fool with a Tool zum Virtuosen slide 18
eispiel: zu späte Toolunterstützung für requirements-basierten Test vermeiden Eine testtufen-übergreifende Teststrategie ist implementiert, Stufe Kernbereich Teststrategie Einsatz Phasenmodell geeignete Testentwurfstechniken Zeitpunkt der eteiligung sind etabliert, Kostenvoranschläge und Planung Test- Spezifikationstechniken Statische Testtechniken Metriken Test Tools Testumgebung Testarbeitsplatz Das Defect Engagement Management und Motivation würde detaillierte Testfunktion uswertungen und usbildung erlauben Reichweite der Methodik Kommunikation erichterstattung D Kontrolliert D D Effizient D Optimierend Die Herstellung eines homogenen Reifeprofils würde erfordern: 0 1 2 3 4 5 6 7 8 9 10 11 12 13 Einführung eines Testmanagement-Werkzeugs mit Metrik-Komponente, welches die direkte Verknüpfung von Testfällen und nforderungen erlaubt, Sowie eines Konzepts zur Nutzung von Low-Level-Tests und frühzeitiger Verifikation bweichungsmanagement Testware Management Testprozeßmanagement D Prüfen Low-Level Tests 2006 Vom Fool with a Tool zum Virtuosen slide 19
Testench Requirements-asiertes Testen Requirements Mgmt. Testfallplanung Formulierung Klassifikation Strukturierung Verfeinerung Terminierung Priorisierung Termin- und risikogerechtes rbeiten Prio. Normal Req. Status ccepted Testaktivitätenplan Testthemen Testfälle Reihenfolge, Umfang, Prio Zuordnung von ufgaben 2006 Vom Fool with a Tool zum Virtuosen slide 20
Testench Requirements-asiertes Testen Requirements Mgmt. Testfallentwurf Formulierung Klassifikation Strukturierung Verfeinerung Terminierung Priorisierung frühzeitige Verifikation Req. nforderungsbaum Testthemen Testfallsätze Frühzeitige Spezifikation m Messestand: Kopplung Caliber RM - Testench 2006 Vom Fool with a Tool zum Virtuosen slide 21
Zusammenfassung: wie nutzen Sie dieses Modell?! Process Improvement Team:! Planung der Einführung von Tools zur Unterstützung und eschleunigung von Verbesserungsmaßnahmen! Etablierung adäquater Prozesse zur effizienten Nutzung der Tools an Hand der Test Maturity Matrix! Toolauswahl: ufstellung passender Kritierien für den uswahlprozess! Toolhersteller: usbalancierung der Toolpalette an Hand von TPI als Referenzmodell 2006 Vom Fool with a Tool zum Virtuosen slide 22
Weiterführende Informationen! Testtool-Liste: http://www.imbus.de/tool-list.shtml! eispiel-kriterienkatalog: http://www.imbus.de/download/papers/tool.zip! Test Process Improvement, Tim Koomen + Martin Pol, ddison Wesley, ISN: 0201596245! Praxiswissen Testmanagement, ndreas Spillner + Thomas Roßner + Mario Winter + Tilo Linz, dpunkt, ISN: 3-89864-275-5! Kapitel 3: Testprozess und Testwerkzeuge! Kapitel 12: Testprozessverbesserung! Kapitel 13: Werkzeugauswahl und -einführung 2006 Vom Fool with a Tool zum Virtuosen slide 23
Kontakt - www.imbus.de Zentrale Erlangen/Möhrendorf: imbus G Tel: +49 (0)9131/7518-0 Kleinseebacher Straße 9 Fax: +49 (0)9131/7518-50 91096 Möhrendorf E-Mail: info@imbus.de üro München: imbus G Tel: +49 (0) 89/3219909-0 Unter der Linde 16 Fax: +49 (0) 89/3219909-50 80939 München E-Mail: info@imbus.de üro Rhein-Main: imbus Rhein-Main GmbH Tel: +49 (0) 6192/92192-0 Zanggasse 6 Fax: +49 (0) 6192/92192-50 65719 Hofheim E-Mail: info@imbus.de 2006 Vom Fool with a Tool zum Virtuosen slide 24