Testmanagement. Andreas Moessinger ATICS GmbH ATICS GmbH IT Beratung Oberstaße 48/c Stockstadt/Rhein

Transkript

1 2017 Testmanagement Andreas Moessinger 1

2 Aufgaben der Testorganisation Seite Welche Fragen muss die Testorganisation beantworten? Wann? Was? Wo? Wie? Womit? Nostalgie an Control-M Seminare seit 1989 Wer? 2

3 Vorgehensmodell in der Softwareentwicklung 2017 Im V-Modell werden verschiedenen Testarten nach ihren Inhalten unterschieden: Projektphase Testinhalte Testarten Analyse & Definition Grobentwurf Anwendungsszenarien Testfälle Abnahmetest Systemtest Folienentwurf Testfälle Integrationstest Implementierung Testfälle Modultest Projektfotschritt 3

4 Zusammenfassung: Testorganisation 2017 Wann? Testphase und Bereitstellungstermine Was? Use Cases Testfälle Wie? Teststufen Unittest Modultest Integrationstest Systemtest Wer? Testteam Womit? Testtechniken, Tools, Templates, Testdaten Wo? Testumgebung 4

5 Testumgebungen Seite Komplexes Thema Testumgebungen sind komplexe Thematiken, die in IT Projekten häufig unterschätzt werden und schnell zu einem Projektrisiko werden können. Ursachen Mangel an Standards zur Beschreibung von Testumgebungen. Unschärfe des vielgebrauchten Begriffs der Produktionsnähe. Ausgangssituation In großen Organisationen mit historisch gewachsenen heterogenen IT- und Umgebungs-Landschaften und fehlenden Vorgaben entwickeln sich Testumgebungen über die Jahre zu einem schwer durchschaubaren Dschungel. 5

6 Testumgebungen Seite Inhalte Neben der verwendeten Hardware, Middleware und Software tauchen Aspekte wie Testdaten, Organisation, Datumssimulation, Benutzerkennungen, betriebliche Komponenten, Schnittstellen und Deployment auf. Aussagefähige Testergebnisse Über allem schwebt dabei der pauschale Anspruch, dass Testumgebungen so produktionsnah wie möglich sein sollen, um überhaupt aussagekräftige Testergebnisse zu ermöglichen. Was genau diese Forderung aber besagt - inwieweit etwa eine Umgebung A produktionsnäher als eine andere Umgebung B ist - bleibt häufig unklar. 6

7 Testumgebungen in IT-Standards Seite Schattenseite Als Reaktion werden die Tests gleich in der produktiven Echtumgebung versucht anzusiedeln. Das Motto Nur das Echte ist das Wahre führt zu einem ineffizienten Testvorgehen. Dies lässt das zentrale Projektziel - einer möglichst frühen Fehlerfindung - völlig außer Acht. Umgebungsdefinition Die hohe Komplexität des Themas spiegelt die unzureichende Definition des Umgebungsbegriffs in der Standardliteratur der Softwaretests wider. 7

8 Testumgebungen in IT-Standards Seite Umgebungsdefinition In Spillner, A.; Linz, T.: Basiswissen Softwaretest, dpunkt- Verlag, 4. Auflage, 2010 wird die Definition des ISTQB- Glossars wiedergegeben (ISTQB - International Software Testing Qualifications Board), die ihrerseits die Norm IEEE610 (Institute of Electrical and Electronics Engineers) referenziert: Testumgebung: Eine Umgebung, die benötigt wird, um Tests auszuführen. Sie umfasst Hardware, Instrumentierung, Simulatoren, Softwarewerkzeuge und andere unterstützende Hilfsmittel. In Pol, M.; Koomen, T.; Spillner, A.: Management und Optimierung des Testprozesses, dpunkt-verlag, 2. Auflage, 2002 (nur noch als e-book erhältlich, siehe: ist die Aussage zu finden: Es gibt im Wesentlichen drei Typen von Testumgebungen: Labor, Systemtestumgebung und produktionsnahe Umgebung. 8

9 Testumgebungen in IT-Standards Seite Umgebungsdefinition Die allgemeinen Definitionen sind für das produktive Geschäft - der Definition, der Governance und des Managements von Testumgebungen - nicht ausreichend. Die betrieblichen Standards wie u.a. ITIL (Information Technology Infrastructure Library ) treffen ebenfalls keine operationalisierbaren Aussagen zu Testumgebungen. Auch das Reifegradmodell für Testprozesse (TPI = test process improvement) informiert nicht, wie gut vorhandene Testumgebungen an die Erfordernisse angepasst sind. 9

10 Produktionsnähe als zentraler Begriff Seite Den ersten Schritt zur Behebung des Problems bildet die Schaffung einer tragfähigen Definition des Begriffs der Produktionsnähe. So ist etwa die Umgebungs-Eigenschaft Bandbreite des Netzwerks, in dem ein Test-PC angesiedelt ist für einen Ergonomietest oder einen funktionalen Komponententest völlig irrelevant; für einen Performancetest hingegen ist genau das Gegenteil der Fall! Einzelne Umgebungsmerkmale können in einem Fall Teil einer geforderten Produktionsnähe sein, in einem anderen hingegen nicht. Ursache hierfür ist letztlich der Zweck, der hinter der jeweiligen Testaktivität steht. Definition: Produktionsnähe bezeichnet diejenigen Merkmale einer Testumgebung, die so wie in der Produktionsumgebung ausgestaltet sein müssen, um das in der Testumgebung angestrebte Testziel zu erreichen. 10

11 Testumgebungen Funktionale Testumgebung Eine funktionierende Testumgebung ist die Voraussetzung für ein erfolgreiches Vorhaben. Planung und Überwachung Eine Planung und Überwachung der Bereitstellung der Testumgebung ist zwingend erforderlich. Definition von Eingangskriterien Im Konzept für die Testumgebung sollten Eingangskriterien definiert sein. Sind wesentliche Bedingungen nicht erfüllt, sollte erst gar nicht gestartet werden. Rahmenbedingungen User-IDs mit entsprechenden Berechtigungen müssen für die Testumgebung bereitgestellt und geprüft werden. Etablierung von regelmäßigen Batch-Abläufen und Personal für den Betrieb rekrutieren. Durchführung von technischen Shake-Down-Tests, um die Grundfunktionen und Schnittstellen zu testen. Seite

12 Testumgebungskoordinator Seite Der TU-Koordinator (Testumgebungskoordinator) ist für die Bereitstellung der Testinfrastruktur verantwortlich. Planung und Bereitstellung der Testsystemarchitektur über die verschiedenen Teststufen und Testumgebungen. Er definiert die Anforderungen an die Systemverfügbarkeit und an Datensicherung/-wiederherstellung. Daneben liegt bei ihm meist die Bereitstellung von Test(massen)daten, da diese oft vom Zustand der Testumgebung abhängen. Hier könnte die Koordination von Zeitreisen oder Anonymisierung von Produktionsdaten liegen. Je nach Teambildung kann bei den TU-Koordinatoren auch die Verantwortung für die Bereitstellung der Testtools liegen. Dazu gehört ggf. auch Spezialwissen für Testautomatisierung. 12

13 Testumgebungskoordinator Seite Empfehlung Es bietet sich an, die Aufgaben des TU-Koordinators als Querschnittsfunktion im Unternehmen zu bündeln. Hintergrund ist, dass für einen Systemintegrationstest oder einen Geschäftsprozesstest oft viele Systeme im Test sind, für die parallel weitere Tests laufen. Die Nutzung der (meist knappen) Ressourcen Testumgebung bedarf dann sowieso einer koordinierten Nutzung, damit sich die Tests nicht gegenseitig behindern. 13

14 10 ATICS Thesen zur Testumgebung Seite Als Querschnittsfunktion muss die Testumgebungssteuerung (TU) der zentrale Ansprechpartner für alle Projekte sein. 2. Im Team der TU muss organisatorisches und technisches Fachwissen gebündelt werden. 3. Je heterogener die Systemlandschaft ist, umso höher ist der Ressourcenbedarf in der TU. 4. Je mehr externe Dienstleister (Outsourcing/Outtasking) beim Aufbau einer TU einbezogen werden müssen, umso höher ist der Zeitfaktor und der Kostenfaktor. 5. Klare Abgrenzung von Standard TUs (Test/Vorproduktion) und Projekt TUs. (Leistungsspektrum/ Regelbetrieb) 14

15 10 ATICS Thesen zur Testumgebung Seite Für die TUs muss ein Regelbetrieb vor allem für die Standard TUs implementiert werden. (Tägliche Batchläufe/Ticketzuweisung und -bearbeitung) 7. Dokumentation ist immer zeitaufwendig und teuer, aber beim Aufbau einer TU unabdingbar. (Firewallfreischaltungen, Filetransferstrecken, technische User, Config Files Einstellungen, usw.) 8. Anonymisierung ist teuer und darf nicht unterschätzt werden. Auf allen Plattformen müssen die gleichen Anonymisierungsregeln aktiviert werden. Denken Sie nicht nur an Datenbänke, vergessen Sie nicht normale Files. 9. Definieren Sie klare Prozesse, die jährlich überprüft werden, nur dann haben Sie kein Alibi Testmanagement. 10. Gut organisiertes Testmanagement einschließlich TU kostet zuerst einmal beim Aufbau Geld. 15

16 Vielen Dank für Ihre Aufmerksamkeit! 2017 Fragen? 16