Transparentes Testmanagement: Teamgeist fördern und Qualität erhöhen! Armin Beer (Siemens IT Solution and Services PSE) 1 IIR-Konferenz 2008 Siemens IT Solutions and Services PSE Überblick Einleitung Fallbeispiel 1: Sozialversicherung Fallbeispiel 2: Telekommunikation Zusammenfassung 2 IIR-Konferenz 2008 Siemens IT Solutions and Services PSE 1
Einleitung 1: Ein betriebswirtschaftlich optimales Produkt liefern! Kosten Gesamtkosten Äußere Einflüsse (Ressourcen, Termine,.. ) QS-Kosten wirtschaftliches Optimum Fehlerfolgekosten Qualität 3 IIR-Konferenz 2008 Siemens IT Solutions and Services PSE Einleitung 2: Die Irrtümer der Wissensgesellschaft... Unterstellung, dass Kompetenzen wie Teamfähigkeit wie eine Eigenschaft kontextlos erworben, geschult und praktiziert werden können.... ist es nicht modern, Problemlösungskompetenz durch Medienkompetenz, Teamfähigkeit, soziales Lernen und Kommunikationsbereitschaft zu ersetzen? aus dem Buch: Konrad Paul Liessmann Theorie der Unbildung, ISBN 978-3-552-05382-3, 2006 4 IIR-Konferenz 2008 Siemens IT Solutions and Services PSE 2
Einleitung 3: Soziale und technische Aspekte Identifikation mit den Projekt-Zielen und Vermeidung von Zielkonflikten? Zugriff auf Informationen, Aufbau von Wissen und Knowledge Sharing Wer ist für die Umsetzung von Maßnahmen verantwortlich? Kommunikations-Risiken ( Re-work wegen fehlender Abstimmung)? 5 IIR-Konferenz 2008 Siemens IT Solutions and Services PSE Fallbeispiel 1: Sozialversicherung Projekt-Kontext Projekt P1 (Applikation zur Verwaltung von Stammdaten sozialversicherter Personen) Mittleres Projekt (20-30 Personen), zentral geführtes Projekt an einem Standort, Team besteht aus Mitarbeitern des Sozial- Versicherungsträgers und verschiedener Firmen Entwicklungsprozess: Iterativ-inkrementell (3 Iterationen) J2EE-Applikation mit DB-Server und Application-Server 6 IIR-Konferenz 2008 Siemens IT Solutions and Services PSE 3
Fallbeispiel 1: Realisierung eines Testframeworks Test Management und Test Automatisierung (Rollen, Prozesse, Methoden, Tools, Metriken) Curriculum für Tester, Manager und Entwickler Systematisches und Erfahrungsbasiertes Testfall- Design Support verschiedener Projekte durch eine Test Management Gruppe 7 IIR-Konferenz 2008 Siemens IT Solutions and Services PSE Fallbeispiel 1: Testprozess Requirements Spezifikation, Use Cases Test Automatisierung Erfahrungsbasierte Testfälle Systematische Testfälle Testfall-Pool Testmanagement-Tool SiTEMPPO (Siemens PSE) Automatische Testdurchführung Manuelle Testdurchführung Automatisierungs- Tool (z.b. WinRunner ) 8 IIR-Konferenz 2008 Siemens IT Solutions and Services PSE 4
Fallbeispiel 1: Zielbildung Identifikation mit Projekt-Zielen + Klare Ziele sind definiert z.b. Meilensteine, Testende-Kriterien (Abdeckung, Prio 1 Fehler) + Prozesse sind bekannt und akzeptiert + Fachbereichs-Mitarbeiter testen und sind spätere Anwender + Aufbau von Test-Kompetenz nützt in der Karriere Risiko: Firmen-interne, individuelle Zielkonflikte 9 IIR-Konferenz 2008 Siemens IT Solutions and Services PSE Fallbeispiel 1: Transparenz Defect Rate P1 Automatic Regression Tests of P1 350 300 Number of Defects 180 171 160 140 140 120 116 122 100 103 80 85 60 63 59 65 55 40 2132 1923 22 28 20 11 3 0 0 Start M1 M2 M3 M4 M5 M6 Months Number of Test Cases 250 200 150 100 50 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 Test Run Executed Pass Fail New Defects (per month) Resolved Defects (per month) Open Defects (total) Performance 10 IIR-Konferenz 2008 Siemens IT Solutions and Services PSE 5
Fallbeispiel 1: Verwaltung von Wissen Aufbau von Wissen und Kompetenzen + Schulung, Coaching und Zertifizierung + Knowledge sharing im Team + Framework wird wiederverwendet Nutzung des aufgebauten Wissens + Das Gelernte kann gleich verwendet werden + Zugriff auf Wissen über Wiki, Interest-Groups Risiko: ein Guru im Projekt, der keine Zeit hat 11 IIR-Konferenz 2008 Siemens IT Solutions and Services PSE Fallbeispiel 1: Aufbau von Wissen und Kompetenzen im Projekt Domänenspezifisches Wissen und Kompetenzen III (Domänen- Experte ohne Testwissen) IV (Experte hat Domänen und Test-Wissen) I (Anfänger) II (Hat Test-Wissen benötigt den Aufbau von Domänen- Wissen) Test-Wissen/- Kompetenz 12 IIR-Konferenz 2008 Siemens IT Solutions and Services PSE 6
Fallbeispiel 1: ISTQB Zertifizierungen + Aufwertung des Testers und Test-Managers + Gegenseitiges Verständnis wird gefördert + Management-Support gegeben Unterschiedliche Test-Erfahrung bleibt Test- Analyst Test- Manager Advanced Level Foundation Level Technical Test-Analyst Voraussetzungen : 18 Monate nachweisbare, fachspezifische Erfahrung CT Foundation Level Inhalt (zusätzlich): ISTQB Syllabus Advanced Level Voraussetzungen : Keine Inhalt : ISTQB Syllabus Foundation Level ISTQB Glossary 13 IIR-Konferenz 2008 Siemens IT Solutions and Services PSE Fallbeispiel 1: Testmanager als Schlüsselfunktion im Projekt Definition gemeinsamer Ziele (PL, Tester, Entwickler) z.b. Testende-Kriterien Aufbau und Verwaltung von Wissen im Team (Nutzung, Zugriff, Interpretation von Konzepten etc.) Schaffung von Transparenz im Projekt-Team z.b. bezüglich der Komponenten-Tests Kommunikation mit PL und Management zur Vermeidung von Zielkonflikten Verantwortlich für Testinfrastruktur und Improvement- Maßnahmen Risiko: Mögliche Konflikte zu Individual-Zielen der Mitarbeiter und zu Management-Zielen 14 IIR-Konferenz 2008 Siemens IT Solutions and Services PSE 7
Fallbeispiel 1: Kommunikation + Kommunikationsebenen zwischen Entwicklern, Testern, Analytikern, Anwendern und Projektleiter finden + Traceabilty (Requirements Use-Cases Testfälle Fehler) + Definierte Schnittstellen zwischen Test-, Fehler-, Anforderungs- und Release-Management (Toolgestützt) Risiko: zu viele emails -> Unterbrechung der eigentlichen Arbeit 15 IIR-Konferenz 2008 Siemens IT Solutions and Services PSE Fallbeispiel 1: Conclusio Die iterative Entwicklung erfordert eine enge Zusammenarbeit zwischen Analytikern, Fachpersonal und Entwicklern Die Fokussierung des Teams auf die Ziele wird durch klare Ziele, definierte Workflows, automatisierte Regressions-Tests, Wissensaufbau etc. erzielt Die Wiederverwendung eines bewährten Testframeworks vermeidet Fallen und Frustration Fachbereichs-Mitarbeiter sind spätere Anwender, daher für professionelles Testen zu gewinnen Management-Unterstützung, Zertifizierung und Support sind weitere Erfolgs-Faktoren 16 IIR-Konferenz 2008 Siemens IT Solutions and Services PSE 8
Fallbeispiel 2: Telekommunikation Projekt-Kontext Großes Projekt verteilt auf verschiedene Standorte (Wien, Berlin, Ost-Europa) Siemens-Entwicklungsprozess für Telekommunikation Java-Projekt Test auf verschiedenen Standorten Integrationstest und Entwicklung arbeiten relativ eng zusammen: bis zu 40 emails pro Fehler am Tag (Traces etc.) 17 IIR-Konferenz 2008 Siemens IT Solutions and Services PSE Fallbeispiel 2: Erfahrungen mit Vorgänger-Versionen Das zu entwickelnde System ist hochverfügbar! Der Schwerpunkt des Systemtests liegt im nichtfunktionalen Bereich 60% aller Tests sind nicht-funktional Last-/Performance Stress Verfügbarkeit Long-duration Tests 50% aller Testfälle sind erfahrungsbasiert! 18 IIR-Konferenz 2008 Siemens IT Solutions and Services PSE 9
Fallbeispiel 2: Rolle von Wissen und Erfahrung Testen großer Systeme erfordert Erfahrung! Etwa 70 Tester im Projekt wenige mit breitem Wissen viele mit Spezialwissen einige neue Mitarbeiter in der Lernphase Tester muss Wissen über das Zusammenwirken der Systemteile haben, sonst ist kein sinnvoller Test möglich KnowHow-Aufbau für neue Entwickler und Tester dauert bis zu 9 Monaten 19 IIR-Konferenz 2008 Siemens IT Solutions and Services PSE Fallbeispiel 2: Aufbau von Wissen und Kompetenzen Jedem neuen Tester / Entwickler wird ein erfahrener Coach zugewiesen, der in während der Arbeit unterstützt Schulung und Einführung neuer Tester Testergebnisse werden dokumentiert und auf gefundene Fehler kann weltweit zugegriffen werden KnowHow-Datenbank z.b. Umgehungs-Lösungen bei neuen Systemen Erfahrungs-Datenbank 20 IIR-Konferenz 2008 Siemens IT Solutions and Services PSE 10
Fall-Beispiel 2: Test-Cockpit für Transparenz 21 IIR-Konferenz 2008 Siemens IT Solutions and Services PSE Fallbeispiel 2: Conclusio Transparenz über den Fertigstellungsgrad der Komponenten wurde über Intranet-Test-Cockpit erzielt Großer Anteil nichtfunktionaler Tests aufgrund von Erfahrungen mit Vorgänger-Versionen Im Gegensatz zu Fall-Beispiel 1 geographisch getrennte Teams, daher Hohe Anzahl an false negatives Notifikationen, die nicht kommuniziert wurden, obwohl sie relevant waren Hohe Anzahl an false positives Notifikationen, die kommuniziert wurden, aber für den Empfänger nicht relevant waren => Automatische Filterung der Notifikationen erforderlich 22 IIR-Konferenz 2008 Siemens IT Solutions and Services PSE 11
Zusammenfassung Das Test- und Entwicklungs-Framework muss sich an der Vorbildung der Teams orientieren Die Anwendung von Metriken verstärkt die Ziel-Orientierung und Transparenz Bei der Team-Bildung muss die Mündigkeit des Einzelnen beachtet werden Der Aufbau von Wissen während der Entwicklung fördert die Team-Bildung zwischen Neueinsteigern und Experten Kompetentes Test-Management ist bei agiler Entwicklung eine Schlüssel-Funktion Kommunikationsebenen zwischen Fachtestern, Entwicklern, Experten etc. finden 23 IIR-Konferenz 2008 Siemens IT Solutions and Services PSE Contact Information Armin Beer Siemens IT Solutions and Services PSE Support Center Test Phone: +43 (0) 51707 / 43342 e-mail: armin.beer@siemens.com 24 IIR-Konferenz 2008 Siemens IT Solutions and Services PSE 12