Herzlich Willkommen zum Fachgruppentreffen Software-Test in Leinfelden-Echterdingen

Größe: px

Ab Seite anzeigen:

Download "Herzlich Willkommen zum Fachgruppentreffen Software-Test in Leinfelden-Echterdingen"

Monica Möller
vor 8 Jahren
Abrufe

1 Herzlich Willkommen zum Fachgruppentreffen Software-Test in Leinfelden-Echterdingen Thema: Ein Erfahrungsbericht aus der Testautomatisierung - Open Source Tools und kommerzielle Lösungen richtig miteinander vergleichen Referent: Michel

2 Agenda 1. Kurzporträt ISTEC GmbH 2. Leistungen der ISTEC 3. Kundenszenario 4. Vergleichskriterien 5. Lessons learned 6. Fazit 7. Fragen Folie 2

3 Unternehmen Kurzporträt ISTEC GmbH seit 1982 erfolgreich am Markt 60 festangestellte Mitarbeiter (Informatiker, Ingenieure, Betriebswirte, Mathematiker) Beratung und Unterstützung in den Prozessen unserer Kunden Projektmanagement Entwicklung maßgeschneiderter Lösungen von der Problemidentifikation bis zur Systemeinführung Lifecycle-Betreuung unabhängiges Beratungs- und Softwarehaus in Leinfelden-Echterdingen und Ettlingen Leinfelden- Echterdingen Ettlingen Folie 3

4 2. Leistungen der ISTEC Folie 4

5 2. Leistungen der ISTEC Lizenzkostenfreie Werkzeuge Testautomatisierung mit dem ISTEC TestCenter Simulation von verteilten Systemen mit dem ISTEC HardwareSimulator Folie 5

6 3. Kundenszenario Entwicklung eines elektronischen Passausweissystems Über 20 Subsysteme Häufige Releases Über funktionale Testfälle Über 10 Lasttest Szenarios Hoch verteilte Testumgebung über mehrere Systemplattformen hinweg Hoch komplexe Testfälle Hohe Fehlerkosten Folie 6

7 4. Vergleichskriterien - Überblick + Änderungen Inhouse möglich + Keine Lizenzkosten + Keine Abhängigkeiten von Zulieferern + Funktionalität? Reporting? Codequalität? Dokumentation? Professioneller Support? Aufwärtskompatibilität? Hardwarebedarf Folie 7

8 4. Vergleichskriterien - Reporting Kommerzielle Lösungen bieten grundsätzlich mehr Reporting-Funktionen und Schnittstellen zu Managementsystemen: Requirement specification Tools Issue Tracking Systeme Progress monitoring Systeme Flexiblere mehrstufige Reportings und Ergebnisanalysen Folie 8

9 4. Vergleichskriterien Codequalität Tools zur statischen Codeanalyse können hilfreich sein um abzuschätzen: Zeit- und Entwicklungsaufwand für Customizing Kostenrisiken Wartbarkeit und Aufwärtskompatibilität Wiederverwendbarkeit Für Java sind freie Tools verfügbar: Checkstyle Metrics Sonar Folie 9

10 4. Vergleichskriterien Codequalität Analyseergebnisse JMeter mit Metrics Metric Acceptable JMeter Cyclomatic complexity Nested block depth Folie 10

11 4. Vergleichskriterien Professioneller Support Kommerzielle Anbieter können professionellen Support für ihre Produkte liefern: Schulungen Beratung Hotline-Support Erhöhung der Planungssicherheit Verkürzt die Lernkurve Unterstützung bei dringenden Problemen Folie 11

12 4. Vergleichskriterien Dokumentation Das fehlen technischer Dokumentation kann ein Customizing deutlich verteuern Das Fehlen von Anwenderdokumentation kann die Lernkurve verlängern und den Beginn der Testphase verzögern Beides erhöht das Risiko, technische Showstopper im Vorfeld zu übersehen Kommerzielle Lösungen bieten eine deutlich höhere Dokumenationsqualität Folie 12

13 4. Vergleichskriterien Hardwarebedarf Open-Source Tools haben meist einen höheren Hardwarebedarf als kommerzielle Lösungen da sie nicht so gut optimiert sind Höherer Hardwarebedarf treibt die Projektkosten nach oben Performance- und Speicherlecks können Showstopper für load tests sein Vergleich von Speicher- und Prozessorbedarf in einem Last-Test-Szenario Messgröße ISTEC-TestCenter JMeter Differenz Speicherbedarf 370 MB 790 MB -113% Erzeugte Last 480 user 200 user +240% Folie 13

14 4. Vergleichskriterien Aufwärtskompatibilität Eine schlechte Softwarearchitektur kann die Aufwärtskompatibilität beeinträchtigen und Updates auf höhere Versionen unmöglich machen: Zyklische Abhängigkeiten Keine saubere Trennung von Custom- und Framework-Code: Custom Core v1 Custom Core v2 Custom Custom Core v1 Core v2 Folie 14

15 5. Lessons learned Sich im Vorfeld die Zeit nehmen um Testfälle gründlich zu identifizieren und zu priorisieren! Bei Toolentscheidungen sekundäre Toolmerkmale mit ins Kalkül ziehen, da sie ausschlaggebend für den Projekterfolg sein können: Codequalität Verfügbarkeit von Support, Dokumentation and Reporting Softwarearchitektur und Aufwärtskompatibilität Hardwarebedarf und Performance Es gibt nicht nur schwarz und weiß! Kommerzielle leichtgewichtige Frameworks sollten auch berücksichtigt werden, da sie manchmal das Beste aus beiden Welten miteinander verbinden können Keine Lizenzkosten oder Abhängigkeiten von Suppliern Hohe Flexibilität Folie 15

16 6. Conclusion Open-Source Commercial light weight product Commercial heavy weight product License costs Supplier Dependency + o - Reporting o o + Code quality o + + Support Documentation o + + Upward compatibility Hardware consumption o Folie 16

17 8. Fragen??? Kontakt ISTEC GmbH Michel Max-Lang-Str 56/ Leinfelden-Echterdingen Phone Folie 17

Ähnliche Dokumente

Mobile App Testing - Mit der richtigen Strategie zum Erfolg

Mobile App Testing - Mit der richtigen Strategie zum Erfolg Thomas Rieger bbv Software Services AG www.bbv.ch 03.09.2015 Q-Event 2015 Erfolgsfaktor Testing 1 Aus dem Alltag eines Mobile App Users 2 Zu