Performancetesten im BIT / LZBTI

Transkript

1 Performancetesten im BIT / LZBTI Swiss Testing Night, Michael Steger BIT und Andreas Elsener [ipt] Innovation Process Technology AG [ipt] Baarerstrasse 63, 6300 Zug, Schweiz

2 Bundesamt für Informatik und Telekommunikation (BIT) Grösster IT-Leistungserbringer der Bundesverwaltung für die IKT-Leistungen der Departemente EFD, UVEK, EDI und der Bundeskanzlei sowie die Büroautomation des EJPD 1100 Mitarbeiter/innen an 5 Standorten Beratung und Unterstützung im Bereich der IT-Unternehmensarchitektur über die Unterstützung bei der Anforderungserhebung von IT-Lösungen bis hin zu deren Realisierung und Betrieb Informatikausrüster von rund Mitarbeiterinnen und Mitarbeitern Betrieb von über 4000 Servern und 1000 Applikationen für den Bund und Dritte Bedienung von knapp 1900 Standorten in der Schweiz und 183 Standorten weltweit mit insgesamt über Netzwerkkomponenten (Switches, Router, Chiffrierboxen, Firewalls) und rund 550 TVA-Systemen Verantwortung für die Vernetzung der Kantone und des Fürstentums Liechtenstein (Betrieb eines Glasfasernetzes von rund 3100 km) 2

3 Testbereich des BIT (LZBTI) Durchführung funktionaler und nicht funktionaler Tests Testen auf der Stufe System-, Fach- und Abnahmetest Automatisierung von funktionalen Tests Erstellung und Durchführung von Performancetests Schulungen und Einführung von Testmethoden Aufbau von Testcentern Bereitstellung von Testinfrastruktur QS Audits Assessments 3

4 Performancetesten im BIT Performanztests Lasttests Stresstests Projekte Aktivitäten - - E-Census (BFS / EDI) Redesign EDB (EZV / EFD) INSIEME (ESTV / EFD) APVS (BAG / EDI) CRM Web Shop (BBL / EFD) Testmanagement Testplanung Testdurchführung Auswertung und Analyse Lead bei Optimierung Audits 4

5 Vorgehen in 10 Schritten Vorbedingungen Testziele Mengengerüste und Schlüsselszenarien Metriken Performancetest-Tools Aufbau Szenarien Performancetest-Umgebung Schritt-für-Schritt-Ausführung Durchführung der Performancetests Analyse, Auswertung und Optimierung 5

6 1. Vorbedingungen LZ / BZ / TK Vorgehen / Konzepte 6

7 1. Vorbedingungen INSIEME 7

8 3. Mengengerüste und Schlüsselszenarien Erfahrung Kunden / Projekte Anforderungen Strukturiert Exploratives Testen (SET) Mengengerüste + Szenarien Performancetests 8

9 3. Mengengerüste und Schlüsselszenarien CRM Web Shop Redesign EDB oder 110 virtuelle Benutzer? 9

10 SET-Methodik Analyse Realisierung / Durchführung Auswertung / Design Bericht Fehlermeldung Testsession Testfall inkl. Ergebnis Testfactory Test Review Entwicklerinformationen Automatisierter Testfall Automatisierter Testlauf 10

11 5. Performancetest-Tools Subversion Automatisierte Reports BV Netz Jenkins SystemMonitore HP QC Testobjekt 11

12 EIS Umgebung EIS stellt integrierte Entwicklungs- und Test-Umgebungen sowie spezialisierte Software für die Applikationsentwicklung zur Verfügung. 12

13 5. Toolwahl: CRM Web Shop Version virtuelle User Virtual Service Environment Version virtuelle User Automatisierte Berichtsgenerierung Loadrunner-Agents in EIS 13

14 5. Toolwahl: INSIEME Tests auf http-protokoll Tests auf DOM Level Aufwändiger zu automatisieren Sehr einfach zu automatisieren Leichtgewichtig Schwerfälliger Gut für Lasttests Gut für Performanztests Last- und Performanztests Beide kombinieren! 14

15 10. Analyse, Auswertung und Optimierung Analyse und Auswertung Optimierung 15

16 Automatisierte Testprotokolle Datenbank: MSSQL Server Testprotokoll /Testbericht Testergebnis in Datenbank Aufbereitung der Daten mit MS Excel Testauswertung Berichtgenerierung mit MS Word basierend auf SQL Query (*.odc) MSSQL DB Tabellen: -Zeitreihen von Metriken -Diagramme (*.xls) Testprotokoll/ Testbericht (HERMES/*.doc) 16

17 Performancetesting IST Kick-Off SOLL Kick-Off Sprint Roll-Out Sprint Roll-Out Verbesserungsansätze - Vermehrt statisch testen => Reviews - Qualitätsverbesserung durch engere Zusammenarbeit (z.b. in Scrum-Teams: Dev. + Test) - Überprüfung der Frontend-Performance 17

18 Fazit Anforderungen Performancetests Abhängigkeiten Kosten 18