Qualitätsmanagement-Dienstleistungen mit Team Foundation Server. Christian Burgherr, Dominique Portmann /

Transkript

1 Qualitätsmanagement-Dienstleistungen mit Team Foundation Server Christian Burgherr, Dominique Portmann /

2 Zum Thema Qualitätsmanagement-Dienstleistungen mit Microsoft Team Foundation Server Christian Burgherr, Consultant / System-Engineer, Noser Engineering AG Dominique Portmann, Leiter Testengineering, Noser Engineering AG «Das Praxisbeispiel zeigt auf wie mit der konsequenten Einführung von Microsoft Team Foundation Server und dem Aufbau eines darauf basierenden Testmanagements die Steigerung der Software-Qualität erhöht werden kann.» Kundenbeispiel: Sage Schweiz AG

3 Ablauf - Agenda Einleitung Testmanagement 5 Qualitätsmanagement-DL mit TFS bei Sage Schweiz 20 Feedback Sage Schweiz, Fazit 5 Fragen

4 Einleitung Testmanagement Mögen Sie sich erinnern?

5 Der Schlüssel zum Erfolg: 3 Dinge Testmanager Test-Tool(s) Prozess

6 Situation heute (erlebte Praxis) Die Schlüsselrolle des Testmanagers wird nach wie vor verkannt. Oft wird Testen an die delegiert, welche sich nicht wehren können. Gerade für umfassende und sehr mächtige Tools ist ein auf das eigene Unternehmen angepasster Prozess unabdingbar. Wir verwenden den toolunabhängigen Noser Way of Testing Mit TFS haben wir eine schöne Möglichkeit einzusteigen. Die Visual Studio Umgebung ist oft bei den Entwickler bereits bekannt und etabliert, dies hebt die Akzeptanz sehr. Das Testmanagement benötigt nun nicht noch ein Tool und baut nicht nochmals eine weitere Insel.

7 Investitionsverhalten in Projekten Tools kosten wenig und versprechen einen grossen Nutzen. Die Hersteller stellen managementtaugliches Werbematerial zur Verfügung. Das Management investiert gerne und viel. Grosse Investitionen erübrigen sich, Prozesse werden nur gemalt. Firmenweite Prozessdokumentationen übersteigen ein Projektbudget. Es wird weder aktiv investiert, noch aktiv gespart. Personalkosten sind ungern gesehene Budgetposten. Was geschieht nach dem Projekt- und damit Budget- Ende? Personalbeschaffungen übersteigen oft die Budgetkompetenzen von Projektleiter oder Team- Abteilungsleiter. Hier wird selten investiert, aber sehr schnell gespart.

8 Der Schlüssel zum Erfolg: 3 Dinge Testmanager Test-Tool(s) Prozess

9 Unser Kunde: Sage Schweiz 1985 Gründung der «Softinc Ltd.» Entwicklung einer der ersten Schweizer Finanzbuchhaltungsprogramme (Sesam) für Microsoft Windows 1999 Integration der «Softinc Ltd» in die «Sage Group plc» 2000 Übernahme der «Softplus SA» (Winway und Winway Z) und «Persoline AG» (WinLohn) 2003 Übernahme von «Winware AG» (Winware) 2005 Übernahme «Simultan AG» (Dialog, Abrevo, SBS) 2005 Umbenennung von «Sage Sesam Ltd» zu «Sage Schweiz AG»

10 Unser Kunde: Sage Schweiz (2) Standorte und Produkte der Sage in der Schweiz: Hauptsitz D4 Root Längenbold (LU) Lausanne (VD) Manno (TI)

11 Das Projekt Angebot «Zur Steigerung ihrer Softwarequalität unterstützen wir Sie beim Einsatz sowie der Einführung von TFS und helfen Ihnen aktiv im Aufbau des eigenen Testmanagements. Sie profitieren von unseren Erfahrungen und haben dank optimierten Entwicklungs- und Testprozessen kürzere Einführungszeiten bei besserer Qualität. «

12 Geschichte des Projekts 2010/1: ALM-Day 2010 mit Präsentation «Noser way of testing» Generelle Konzepte für QS und Testing von Noser Spezifischer Einsatz mit Team Foundation Server 2010 erster Kontakt mit Vertretern von Sage Schweiz 2010/6: 3 Workshops bei Sage für folgende drei Zielgruppen: Produktmanagement Entwicklung QS / Testmanagement zielgerichteter Informationsaustausch, positives Feedback 2010/6: Analyse, Auswertung, Vorgehenskonzept Angebot «QM-Dienstleistungen mit TFS» für Sage ( )

13 Angebot Grundlagen / Voraussetzungen Zielsetzungen: Migration auf TFS 2010 Change-Prozess (Entwicklung / Testing) Nutzbringende und nachhaltige Lösungen Vorgehen / Methoden basierend auf Workshops / Interviews Arbeitspaketen Beratung, Unterstützung Iterationen, in Etappen Prioritäten gemäss Vorgaben Sage Kostentransparenz (Reporting / Kosten)

14 Angebot Umfang / Arbeitspakete (AP) AP1: Infrastruktur Analyse, Aufnahme aktuelle Infrastruktur Umfang, Produkte abklären Installationen, Parametrierung AP2: Entwicklung Analyse, Aufnahme aktuelle Entwicklung Build-Prozess auf TFS Umsetzung, Verifikation, Review AP3: Prozess Analyse, Aufnahme aktuelle Prozesse Umgestaltung, Optimierung Review, Pilot, Einführung

15 Projekt Organisation Projekt-Organisation Kick-Off 25. August 2010 Rollen (Vertreter) Sage (GL, Development, QA) Noser (QA/Testing, TFS, Development) Administration / Organisation PL Sage / PL Noser Monatliches Reporting Infrastruktur SharePoint-Site für Projekt-Dokumentationen Roadmap Aufgaben, Termine, Meilensteine

16 AP1 Infrastruktur

17 AP1 Infrastruktur Interview / Abklärungen Hardware / Infrastruktur TFS Topologie (Skalierung & Extranet) Anforderungen Entwicklung System Architektur Berechtigungen Backup / Disaster Recovery Wartung / Updates Lizenzierung Environment / Source-Server Build / Setup QA / Testing Infrastruktur

18 AP1 Infrastruktur Aufarbeitung in Dokument Ist-Situation Hardware / Infrastruktur VM für SW-Entwicklung mit Visual Studio 2005 SP1, 2008, 2010 und Delphi Team Foundation Server 2008 auf Workstation im Single-Server-Modus Entwicklung SW-Entwicklung auf standardisierten VM s Heterogene Build-Prozesse (vgl. AP2) QA / Testing Test-Infrastruktur in eigener Domäne mit automatisiertem Deployment und mehrheitlich manuellem Testing

19 AP1 Infrastruktur Produktive Umgebung Soll-Vorgaben (1) Hardware / Infrastruktur Ablösung von Single-Server Installation......mit neuer Hardware und Topologie Virtualisierung und Skalierbarkeit Multiple-Server-Installation TFS DB-Server VM Manager / Library VM Host Server TFS Schulung / Test Datenablage auf SAN

20 AP1 Infrastruktur Produktive Umgebung Soll-Vorgaben (2) Hardware / Infrastruktur Benutzer Domain-Accounts (User- & Service-Accounts) Organisation Benutzer, Rollen» 5 Produktelinien» Entwickler» Programm-Manager (PM)» QA» Tester Keine Anbindung externer Benutzer Fazit: circa 70 Benutzer, 50 mit Zugriff auf Source-Management Lizenzen 1x Visual Team Foundation Server x MS SQL Server Standard Edition 5x Windows Server 2008/R2, 64 bit 6x Virtual Machine in Lab-Management

21 AP1 Infrastruktur Produktive Umgebung Soll-Vorgaben (3) Hardware / Infrastruktur Clients Visual Studio 2010 Ultimate (UML, Architekt, Load- und Web-Testing) 57x Visual Studio 2010 Premium 4x Visual Studio Test Professional (inkl. VS Team Lab-Management, VMM) 20x TFS Client Access Lizenz (für Modifikation von WorkItems) Update-Service IT-Support für Patches und Updates (wichtig: in Absprache mit Dev/Test) Backup / Recovery (in Testphase zu verifizieren)

22 AP1 Infrastruktur Produktive Umgebung Soll-Vorgaben (4) Entwicklung Pro Produktelinie eine TFS Project Collection Standardisierung des Code-Managements Build-Prozess: Pro Collection ein Build-Controller mit (mehreren) Build-Agent(s) Verwendung bestehender Build-Server Automatisierung aller Builds Build- und Setup-Drop (wie bisher) Setup und Konfiguration mit Acronis, OPSI (wie bisher) QA / Testing Test- und Lab-Management einsetzen Automatisiertes Testing mit Test-Controller und Test-Agents einführen Manuelles Testing auf Workstations mit Test-Manager und Test-Runner optimieren

23

24 AP1 Infrastruktur Testumgebung Test- und Schulungsinfrastruktur Installation (11/2010) (1) Single-Server Installation von TFS (2) Client für Entwicklung (3) Anbindung an QA / Test-Domäne Zielsetzung: Verifikation von Konzepten Früherkennung von Problemen und Risiken Sinnvolle Vorarbeiten bis Lieferung Produktivumgebung (2/2011) Single-Server Installation (einfaches Layout) Minimaler Ansatz (kein Analysis-Services, SharePoint) Ergebnisse: Installationsanleitung Infrastruktur für weitere Arbeiten

25 AP1 Infrastruktur Testumgebung

26 AP2 Entwicklung

27 AP2 Entwicklung: Übersicht Produktelinien Sage 50 Sage 100 Sage 200 egov BI Verantwortlichkeiten / Ansprechpersonen Linienverantwortliche Team-Leader / SW-Architekten

28 AP2 Entwicklung: Interviews Fragen/Abklärungen mit Entwicklungsteams Environment / Programmiersprachen Welche? Source-Code-Management Vorgehen? Build-Prozess Automatisiert? Setup / Deployment Welches? Automatisierung? Datenbanken Welche? Entwicklung? Deployment? Architekturen Technologien

29 AP2 Entwicklung: Interviews (2) Fragen/Abklärungen mit Entwicklungsteams (2) Release-Planung und -management: Aktuelle Situation? Wünsche und Ziele? Road-Map Produktstrategien, Portfolio? Milestones? Testing: Unit-, UI-, Load-, Performance-, Integration- und Acceptance-Test, Automatisierung Risiken & Vorbehalte Visual Studio 2010?

30 AP2 Entwicklung: Resultate - Herausforderungen Builds nicht standardisiert Heterogene Arbeitsweisen (manuell, teilweise oder voll-automatisiert) Source-Management Konzepte nicht standardisiert Legacy Systeme Entwicklungsumgebungen MS Visual Studio Unterschiedliche Versionen: 2005 SP1, 2008 und 2010 Borland Delphi Source-Safe Plug-in vs. TFS-VC Plug-in Datenbank-Framework (BW2) auf MS-SQL SQL-Analysis-Services, Reporting-Services Sage 100: Eigenentwicklung, keine Synergien möglich

31 AP2 Entwicklung: Resultate - Herausforderungen (2) Branching / Merging Überschneidende Live-Updates Teilweise wöchentliche Zyklen Abweichende, aufwändige Strategien Unsicherheiten bei Merging

32 AP2 Entwicklung: Neue Zielsetzungen 1. Migration auf TFS Source-Code- und Release-Management vereinheitlichen Strukturen Naming-Conventions Check-in policies Branch- und Merge-Prozess standardisieren 3. TFS-Build einführen und einheitlich verwenden Keine manuellen Builds mehr Continuous-, Nightly- or Weekly-Builds Unittesting integral einführen Build- und Setup-Erstellung integrieren, automatisieren

33 AP2 Entwicklung: Aspekte Migration auf TFS 2010 Team Collection vs. Team Projects Work Items gemeinsam? Code Sharing? Reporting? Historisierung Ja oder nein? Falls ja wie lange? Releases? Durchführung Wer macht/prüft was? Abnahme/Prüfung? Zeitpunkt der Migration? Release-Zyklen? «Grundsätzlich nie Zeit aber wann optimal?»

34 AP2 Entwicklung: Aspekte Branching-Strategie (1) Release-Version Haupt- und Nebenversion Komplette Installation Auslieferung: Meist jährlich Services-Pack Voraussetzung: Korrekt installierte Release-Version Komplette Installation aller EXEs und DLL Auslieferung: mehrmals pro Jahr Live-Update Spezifisches Set von DLLs gemäss Änderungen Auslieferung: oft, teilweise wöchentlich

35 AP2 Entwicklung: Aspekte Branching-Strategie (2) Branches Main, Release- und Hotfix-Branches Entwicklung für... Release: Main oder Release Service Pack: Release Live-Update: Hotfix Code-Integration / Merging Definition von Richtlinien oder «Best-Practices» Forward: z.b. immer vor Reverse-Integration (ev. Code-Update) Reverse: z.b. immer nach Testphasen und Korrekturen Einheitliche Branch-Namen «Main» (Product Life Cycle Branch) Release mit «Major.Minor» Hotfix «TT.MM.YY» (Wunschdatum)

36 AP2 Entwicklung: Aspekte Branching am Beispiel Sage 50 (2)

37 AP2 Entwicklung: Aspekte Branching am Beispiel Sage 50 Beispiel von Branching Main V9 (Release) (Hotfix)

38 AP3 Prozesse: Prozesse / Qualität

39 AP3 Prozesse: Herausforderungen 1. Release-Frequenzen - Hoch - Überlagernde Live-Updates 2. Testing - Manuelle Tätigkeiten überwiegen - Hoher Aufwand - Wiederholende Tätigkeiten - Verifikation der Korrekturen und(!) Standard-Funktionalität 3. Prozessablauf - 3rd Level-Support wenig definiert - dominierendes «Tagesgeschäft» - wenig Zeit für Prozess-Optimierungen 4. Qualitätsniveau von Live-Updates schwankend

40 AP3 Prozesse: Zielsetzungen 1. Issue-Tracking überarbeiten 3rd-Level Prozess überarbeiten Issue-Tracking definieren Planung, Priorisierung Verantwortlichkeiten und Rollen Release-Erstellung standardisieren (Build, Setup, Release-Notes, etc.) Reporting, Kennzahlen 2. Testing optimieren Vielfalt der Plattformen abdecken Regressionstests durchführen Planbar- und Nachvollziehbarkeit Effizienz, Priorisierung, Automatisierung Hohes, definierbares Qualitätsniveau sicherstellen

41 AP3 Prozesse: Issue-Tracking überarbeiten 3-stufige Service-Organisation 1st / 2nd-Level Support mit OpenView Etabliert und tool-basiert 3rd-Level: Produkt-Entwicklung mit QS Qualitätsabteilung neu organisiert Rollen Programm-Manager Entwickler Qualitätssicherung Tester Aufgaben Requirements, Features Bugs, Change Requests Abläufe Bug- und Task-Prozess

42 AP3 Prozesse: Issue-Tracking überarbeiten (2) Ausgangslage / Vorgehen Zusammenspiel 1st / 2ndund 3rd-Level analysieren inkl. sauberer Trennung der Bereiche Vorschlag auf TFS-Process-Template erarbeiten und testen Verifikation / Review mit involvierten Stellen durchführen Stufenweise Einführung, zuerst Pilot mit Sage 50

43 AP3 Prozesse: Issue-Tracking überarbeiten (3) Ausgangslage CMMI-Template Bug- und Task-Prozesse Anpassungen Erstellen, Modifizieren oder Löschen von States und Transitions Rollen PM, DEV, QA, TEST Restrictions

44 AP3 Prozesse: WIT-Tracking Beispiel «Bug» Modifizierter Workflow (State, Transitions) mit Process-Editor (TFS Power-Tools)

45 AP3 Prozesse: WIT-Tracking Beispiel «Bug» (2) Erfassung mit spezifischen Erweiterungen (Layout / Maske) Rollen gemäss Prozessen (TFS-Project-Groups)

46 AP3 Prozesse: Testing optimieren Manuelles Testing Eigene (bestehende) Test-Domäne Physisch auf (Test-) Workstations Einsatz von Test-Manager und Test-Runner Testfälle aufzeichnen und teil-automatisieren Kommunikation mit TFS via Trusted-Domain Verbindung

47 AP3 Prozesse: Testing optimieren (2) Virtuelle Testumgebung Virtual Machine Manager Komplette Automatisierung CodedUI-Testing Template-Bibliothek mit Basisinstallationen Betriebssysteme Win XP, Win Vista, Win 7, Server 2003 / 2008 x86 oder x64-bit Vorgabe: maximal 6 Testumgebungen!

48 AP3 Prozesse: Demo Coded-UI-Tests (preliminary)

49 Zusammenfassung / Learnings «Wie kann die Qualität signifikant durch den Einsatz von Tools gesteigert werden?» Konsequentes Vorgehen durch Einbinden aller Schlüsselpersonen 2. Systematische, konsequente Analyse (Ist, Soll, Prio) 3. Definition von Zielen / Arbeitspaketen 4. Direkte Umsetzung und Verifikation mit Tool 5. Review aller Ergebnisse... und nicht vergessen: «Qualität ist kein Zustand Qualität ist ein Prozess!»