Testwerkzeuge mit der Entwicklungsumgebung bei Haufe-Lexware ein Erfahrungsbericht aus 3

Transkript

1 Zusammenspiel der HP- Testwerkzeuge mit der Entwicklungsumgebung bei Haufe-Lexware ein Erfahrungsbericht aus 3 Jahren Testmanagement. Dr. Frank Spiegel Bereichsleiter Qualitätsmanagement Haufe-Lexware GmbH & Co. KG

2 Wer ist Haufe-Lexware? Die Haufe-Lexware GmbH & Co. KG ist ein Unternehmen der Haufe Guppe, die zu den innovativsten Medien- und Softwarehäusern der Branche Recht/Wirtschaft/Steuern gehört. Das Freiburger Unternehmen beschäftigt rund Mitarbeiter. Die Lösungen umfassen Fachinformationen, Applikationen, Services, Dienstleistungen, Online-Communitys und Fachportale sowie Weiterbildungs- und Qualifizierungsmöglichkeiten bis hin zur Personal- und Organisationsentwicklung. Seite 2

3 Der Produktrealisierungsprozess für Softwareapplikationen (S-PRP) - und seine Tools von: Portfoliomanagement Auftrag Gesamtprojektverantwortung Projektorganisation u. -durchführung Konfigurationsmanagement Teilprojektleitung SWD Änderungsmanagement Qualitätsmanagement Softwareerstellung Implemen- tierung Anf.-erhebung u. -analyse Entwurf und Design Softwareintegration Featuretest UI-Design Validierung zum Kunden zu: S&S Operations service & supp. Einsteuerung S&S-Services Systemtest Systemarchitektur Systemdesign zum Kunden zu: Prod. & Logistik zum Kunden offline-produkt <- altern nativ -> online-produkt/ Business Service Produktionsvorbereitung Abnahmetest Produktfreigabe Systemintegration Applikationsbetrieb online- Produktion Software-/ Systemwartung Seite 3

4 Zusammenfassung: derzeitige Toollandschaft Microsoft-Produkte (insbesondere Team Foundation Server) für die Entwicklung, für Requirement- und für Bug Management Selenium für Cont. Integration-Tests ti t in der Entwicklung HP-Produkte für Security-Fragen in Entwicklung und Betrieb (ArcSight, Fortify) HP-Produkte für den Applikationsbetrieb (BAC, SiteScope, ) Einführung HP-Produkte für die Qualitätskontrolle (black-box-testing): ALM und Sprinter, QA Inspect QuickTest Professional, Service Test und LoadRunner geplant Juvander TFS Item Synchronizer zur Datensynchronisation zw. TFS und ALM für Requirements und für Bugs Einige Kenngrößen: Anzahl Entwickler: rd. 220 Anzahl paralleler Entwicklungsprojekte: Anzahl Test Engineers: rd. 70 Anzahl ALM-Projekte: rd. 35 Anzahl ALM-User: rd. 350 Seite 4

5 resultierende Fragen Aufgrund der geschilderten Toollandschaft stellen sich u.a. folgende Fragen: Warum das Nebeneinander von Selenium und QTP? Warum nicht ALM (statt TFS) für Requirement Management und für Bug Management? Warum nicht TFS (statt ALM) auch für Testmanagement und automatisierung? Warum nicht HP QC Synchronizer zur Datensynchronisation zw. TFS und ALM? Seite 5

6 Warum das Nebeneinander von Selenium und QTP? aus: Selenium vs. Quick Test Professional: The Hidden Costs of Open-Source. B. Davidowitz & J. Ford. HP Discover, Las Vegas, 2011 Selenium Short Term Projects Web Based Applications QTP Long-Term Projects Wide Range of Technologies Dev Team Responsible for Test Traditional QA Team or Centralized Automation in Continuous QA Dept (Center of Excellence) Integration Environment Microsoft Windows OS Clients Multiple OS Clients Some Budget for Test Automation Tolerance for Staffing vs. Tools Technology Expenditures Desire for High Degree of Visibility Very Large Automation Suite with Small Runtime Window schwierige Integration mit ALM volle produktseitige Integration mit ALM Seite 6

7 Warum nicht ALM (statt TFS) für Requirement Management und für Bug Management? Requirements Requirements werden in TFS verlinkt mit zugehörigen Entwicklungs-Tasks in TFS. kein zusätzliches Tool zu TFS in der Entwicklung gewünscht aus Effizienzgründen TFS-Lizenzen sind in ausreichender Menge für alle betroffenen Mitarbeiter verfügbar (enterprise agreement) Bugs (defects) größerer Funktionsumfang in TFS für Bug Management Verknüpfung zw. Bugs und Codeverwaltung (Entwicklungsumgebung) kein zusätzliches Tool zu TFS in der Entwicklung gewünscht aus Effizienzgründen TFS-Lizenzen sind in ausreichender Menge für alle betroffenen Mitarbeiter verfügbar (enterprise agreement) Seite 7

8 Warum nicht TFS (statt ALM) auch für Testmanagement und automatisierung? Ende 2010 stand die Frage im Raum, ob die Testwerkzeuge von Visual Studio ALM (VS Test Professional) ausgereift genug sind, um die bestehenden HP-Tools ablösen und die Daten überführen zu können. Es gab ein Evaluierungsprojekt, das die MS-Lösung fachlich und kommerziell bewerten sollte ein mögliches Umstiegsszenario nach Aufwand und Risiko bewerten sollte eine abschließende Gesamtempfehlung vorlegen sollte Seite 8

9 Fachliche und kommerzielle Bewertung (ausschließlich auf die Belange von Haufe-Lexware bezogen) VS ALM volle Integration mit TFS und den anderen Komponenten von VS Lizenzen sind ausreichend verfügbar aufgrund enterprise agreement HP ALM ausgereiftere Suite mit größerem Funktionsumfang ALM-DB ist nach Projekten strukturiert Business Process Testing Ausgereiftes Parameter-Handling Versionierung und Baselining Tools für Security-Testing verfügbar Automatisierung unterstützt auch Nicht-MS-Oberflächen und - Technologien keine tiefen Entwicklerkenntnisse erforderlich für Automatisierung Seite 9

10 Umstiegsszenario und Gesamtbewertung Umstiegsszenario: Übernahme der Testfälle aus dem ALM-Testplan: Übernahme technisch relativ leicht möglich, aber Verlust einiger Informationen kein Aufbau von direkter Verlinkung zu den Requirements möglich Verlust der Verlinkung zu Test Sets und Test Runs Übernahme der Test Sets und Test Runs: technisch möglich, aber aufwändig und mit großen Verlusten Überführung der QTP-Skripte: ausgeschlossen Gesamtbewertung: Die Vorteile einer vollintegrierten Lösung für Entwicklung und Qualitätskontrolle sowie der wirtschaftlichen Vorteile einer Lösung eines einzigen Anbieters werden von den funktionalen Nachteilen dieser Lösung und den Risiken eines Migrationsprojektes mehr als aufgewogen. Seite 10

11 Warum nicht HP QC Synchronizer zur Datensynchronisation zw. TFS und ALM? erforderliche Datenflüsse: Requirements uni-direktional, bugs bi-direktional TFS Requirements TFS Tasks TFS Bugs Ent twicklung ALM-Projekt new und update export new bugs Qua alitätskont trolle new und updates Seite 11

12 übergreifende Anforderungen an die Sync-Lösung TFS bleibt das führende System für Requirement- und Bugmanagement Projekt-Customizing in TFS und ALM muss weiterhin möglich sein und von der Lösung unterstützt werden. Synchronisierungen sind optional für jedes ALM-Projekt schreibender Zugriff in TFS (Übertragung neuer Bugs aus ALM) erfolgt mit personifiziertem LDAP-account. Administration des Synchronizers kann vom ALM-Admin mit erledigt werden. mögliche Produktlösungen: HP QC Synchronizer Juvander Bug Item Synchronizer Preis Maintenance/Year Support HP Juvander Einflussnahme Kaum möglich Über direkten Ansprechpartner Manuell/Auto Beides möglich Nur Automatisch Seite 12

13 Entscheidungsmatrix HP QC Synchronizer Juvander Bug Item Synchronizer Create User setzen Nicht möglich Möglich wenn der Sync-User als TFS Support Account läuft Flexibles setzen von Create/Update Events je Feld Übertragung von Formatierungen Kombination von Feldwerten Nur begrenzt möglich Keine Formatierung wird übernommen Nicht möglich Flexibel einstellbar Weitestgehend möglich möglich Aber: Beide Lösungen bieten keine vollständige Antwort auf die Anforderung: schreibender Zugriff in TFS (Übertragung neuer Bugs aus ALM) erfolgt mit personifiziertem LDAP-account. Seite 13

14 Fazit Es wird auf absehbare Zeit weiterhin Tool-Brüche geben zw. der Entwicklung und der Qualitätskontrolle (System-, Integrations- und Abnahmetests) sowie dem Betrieb. Dies ließe sich nur ändern, wenn es eine durchgängig geeignete Toolsuite gäbe für alle diese Teilprozesse. Dies ist derzeit nicht absehbar. Spezifikation Entwicklung Test Betrieb Es gibt keinen absolut richtigen Weg, wie ein Unternehmen diese Bruchlinie i ziehen sollte. Dies hängt ab von unternehmensspezifischen Fragen wie Zusammenarbeitsprozess mit der anforderungsgebenden Seite Technologiestrategie des Unternehmens Lizenzmodell der Anbieter u.v.m. Seite 14

15 Kontakt Homepage: Stellenangebote: Dr. Frank Spiegel Certified Manager of Quality/Organizational i i l Excellence (American Society for Quality) Certified Quality Manager (New Zealand Organization for Quality) Six Sigma Green Belt Certified Lead Auditor DIN/ISO 9001 Seite 15