Qualitätssicherungtssicherung

Transkript

1 TOOL-Evaluierung im Bereich SW-Qualit Qualitätssicherungtssicherung Dipl.-Ing. Johannes Bergsmann Gerichtlich beeideter Sachverständiger für f r Informatik Staatlich befugter und beeideter Ingenieurkonsulent für r Informatik

2 Inhalt Tool-Evaluierung allgemein Problembereiche Lösungsmöglichkeiten glichkeiten im Tool-Evaluation Evaluation-Center Einige evaluierte Tools im Überblick Fragen

3 Tool-Evaluierung

4 Tool-Evaluierung Vorgehen bei der Evaluierung Eine Tool-Evaluierung besteht im Wesentliche aus folgenden Schritten: 1. Definition der eigenen Anforderungen und Entscheidungsgrundlagen (z.b. in Form einer Checkliste oder eines ersten groben Lastenhefts) 2. Schaffen eines Marktüberblicks von in Frage kommenden Tools 3. Gegebenenfalls grobe Vorauswahl von passenden Tools (z.b. anhand der individuell definierten Tool-Evaluierungs Evaluierungs-Checkliste) 4. Anfordern oder Beschaffen der Tools 5. Installation und Konfiguration der Tools 6. Erstellen von passenden Evaluierungs-Szenarien und Beispielen 7. Vergleich der Tools und Erstellung einer Grundlage für f r die Entscheidungsträger ger (z.b. in Form einer SWOT- oder Nutzwert-Analyse) Analyse) 8. Erstellung einer detaillierten Anforderungsspezifikation 9. Start des detaillierten Verhandlungs und Einführungsprozesses/ hrungsprozesses/-projektsprojekts

5 Tool-Evaluierung Aspekte Einige wesentliche Aspekte, die zu berücksichtigen sind: Unter- nehemens- Kultur Methoden Projekte Prozesse TOOL Kosten/ Nutzen Integration, Schnittstellen Anforderungen Anwender

6 Tool-Evaluierung Fragen bei der Evaluierung Welche Geschäftsprozesse sollen unterstützt tzt werden? Welche Anforderungen muss die Software dafür r erfüllen? Sind die Anforderungen vollständig und korrekt erfasst? Sind die Bewertungskritierien dokumentiert und nachvollziehbar? Haben Sie den Überblick über den Markt? Wie vollständig und flexibel ist die angebotene Software? Welche Schnittstellen hat die angebotene Software? Inwieweit ist die angebotene Software kompatibel zu anderen Systemen? Können die Anbieter gegebenenfalls Referenzen nachweisen? Wer hat einen Vorteil von der Auswahl einer bestimmten oder keiner er Software?

7 Fallstricke und Problembereiche bei der Tool-Evaluierung

8 Tool-Evaluierung Problembereiche Vielfältige ltige Gründe für f r Probleme bei der Tool-Evaluierung: keine Zeit, da gerade viele andere wichtige Projekte laufen keine qualifizierten Leute, die das beurteilen könnenk zu wenig Marktüberblick über die gängigen g Tools der Aufwand der Evaluierung wird oft unterschätzt tzt Scheinbare LösungenL sungen: Billige Studenten oder Praktikanten, die das dann nebenbei erledigen und auf deren Ergebnissen die strategischen Entscheidungen basieren. Diesen jungen Leuten fehlt oft der Überblick, die notwendige praktische Erfahrung sowie auch die strategisch/unternehmerische Sicht! Nach ein bisschen Herumspielen wird die wichtige Tool-Entscheidung auf Basis einer wackeligen Grundlage getroffen!

9 Tool-Evaluation Evaluation-Center

10 Tool-Evaluierung Tool Evaluation Center (TEC) Zur effizienten Tool-Evaluierung Ständig betriebene Umgebung, in der die aktuellsten Tools vorkonfiguriert sind Alle Tools mit gleichen und plausiblen Testbeispielen hinterlegt kann die Schritte der Tool-Evaluierung (Marktüberblick, Vorauswahl, Beschaffung, Installation, Konfiguration, Erstellung von Szenarien) abnehmen und die Schritte 7. bis 9. (Vergleich der Tools, Anforderungen spezifizieren, Einführungsprojekt starten) wesentlich erleichtern Nachfolgend wird das TEC (Tool Evaluation Center) von Software Quality Lab vorgestellt.

11 Tool-Evaluierung Ziele des TEC Ziele des Software Quality Lab TEC: Kunden und Interessenten wird der direkte Vergleich von Produkten und Tools unterschiedlicher Anbieter ermöglicht. glicht. Das mühsame Produkt-Anfordern, probeweise Installieren, hektische Ausprobieren, kann vermeiden werden und eine objektive Evaluierung der Produkte wird ermöglicht. Durch sehr breit angelegte, bereits vorbereitete Evaluierungs- Beispiele wird ein praxisgerechter Vergleich der Produkte ermöglicht. Durch die Betreuung durch einen Tool-Spezialisten wird sicher gestellt, dass die Produkt-Evaluierung zielgerichtet und effizient verläuft.

12 Tool-Evaluierung Nutzen des TEC Nutzen für f r die Kunden und Interessenten Auf einfache Art und Weise mehrere Produkte im direkten Vergleich h evaluieren. Nicht vom Vertrieb des Herstellers überredet berredet werden, sondern Produkte in Ruhe selbst ansehen und evaluieren. Allen relevanten Produkte stehen bereits vorkonfigurierten und mit m Beispielen versehenen zur Verfügung. gung. Durchgängige und praxistaugliche gleiche Beispiele für f r jedes der Produkte, sodass ein objektiver Vergleich der Produkte möglich m ist. Zeitaufwand sparen durch den Wegfall der sonst üblichen Vorbereitungs- arbeiten. Optional: Aufbereiten einer Entscheidungsgrundlage inkl. einer KostenK osten-/nutzen- Bewertung der Systeme. 1x pro Jahr eine Produkt-Evaluierungs Evaluierungs-Studie vorgesehen, in der alle Produkte, die im Software Quality Lab TEC präsentiert werden, aus einer neutralen Sicht dargestellt werden.

13 Einige ausgewählte Tools aus dem Tool-Evaluation Evaluation-Center

14

15 Testaktivitäten ten Planung Wird nicht unterstützt tzt Daher: Projektplan: z.b. mit MS Project Testplan: z.b. mit stdsem Analyse und Design Aufbau einer Teststruktur Basis sind Anforderungen Eine Teststruktur pro Testlevel oder pro Testprojekt Import: RTF, XML (spezielle DTD), Telelogic Doors Testfälle werden in diese Struktur dazugehängt Verwalten und Ausführen von junit Tests

16 improve your quality Testaktivitäten ten Implementierung Beschreibung manueller und automatisierter Tests Automatisiert: Mit Script eines externen Werkzeugs referenziert Testfälle können k mit Attributen versehen werden Standard (z.b. Priorität, t, Test Level, (... selbst spezifiziert

17 Testaktivitäten ten Durchführung hrung Manuell: Wird von SiTEMPPO direkt angeboten. Nachteil?: Ausführungsassistent erlaubt es Tester spezifizierte Reihenfolge von Tests und Testschritten zu verlassen Automatisiert: Verbindung zu externen Werkzeugen: Pro Testfall kann ein Script referenziert werden Angabe von Scriptparametern möglichm Werkzeuge für f r Testausführung Mercury WinRuner und QuickTest Borland SilkTest IBM Rational Robot

18 Testaktivitäten ten Auswertung und Bericht Berichte und Diagramme können k angepasst werden Direkte Einbindung von Fehlerverwaltungswerkzeug Bugzilla möglichm

19

20 Testaktivitäten ten Planung Planungen durch Attribute (Fälligkeitsdatum, Reviewer,...) und Filter Risikoanalyse durch Nachverfolgung von Anforderungen Zusammenfassen von Testfällen zu Testzyklen, die durch Attribute (Fälligkeit, Tester) geplant werden können

21 Testaktivitäten ten Analyse und Design Systematisches Herleiten von Testfällen! Äquivalenzklassen und Grenzwertanalyse Anforderungen können k per drag&drop Testfällen zugewiesen werden Implementierung TestBench kann automatisch Werte aus Äquivalenzanalyse kombinieren Erzeugt somit viele konkrete Testfälle aus einem logischen Testfall State of the Art: Keyword-Driven Testing

22 improve your quality Keywort-Driven Testing Imbus: Interaktionsmehtode Testfälle werden nicht als Ganzes beschrieben, sondern aus wiederverwendbaren Bausteinen (z.b. login, enter_order, (..., print_report Bausteine erhalten lesbare Namen und Parameter Ziel: Wiederverwendbarkeit gemeinsame Beschreibungssprache für f r manuelle und automatisierte Tests Erhöhung hung der Wartbarkeit

23 Testaktivitäten ten Durchführung hrung Manuell: lizenzfreier Client zur Offline-Ausf Ausführung von Testzyklen Automatisiert: Unterstützung tzung einer Vielzahl von Werkzeugen LogicaCMG Contest net FrameWork QftestJUI Borland SilkTest IBM Rational Functional Tester IBM Rational Robot Mercury WinRunner National Instruments TestStand S.E.A. TestMaster Übersicht über die Testergebnisse

24 Testaktivitäten ten Analyse und Bericht Anpassbare Berichte und Diagramme Durch plug-in Konzept lassen sich in Java oder XSTL komplexe Berichte selber schreiben Metriken, um Testfortschritt und Erreichung des Testendkriteriums s zu bestimmen Bereits einfaches Fehlerverwaltungswerkzeug implementiert Anbindung an externe Werkezuge (Bsp: Atlassian Jira, Bugzilla, IBM I Rational ( ClearQuest

25 improve your quality Fazit Stärken Deckt ganzen Testprozess ab Systematische Herleitung von Testfällen (Äquivalenklassenanalyse,...)( (..., quivalenklassenanalyse Anbindung an viele Werzeuge durch Plug-In Konzept und Bridges Keyword-Driven Driven Testing Schwächen chen Schwächen chen in der Usability Empfehlung Schulungen unbedingt notwendig A fool with a tool remains a fool.

26

27 QACenter Produktfamilie Testmanagement: QACenterPortal, QADirector Anforderungsmanagement: Reconcil Fehlermanagement: TrackRecord Funkt. Testautomatisierung: Test Partner Last- u. Performancetests: QALoad Testdatenmanagement: FileAid C/S Qualitätsmanagement: tsmanagement: CARS

28 improve your quality Testaktivitäten ten Planung Aufwandsschätzung (Zeit, ( Kosten Risikoanalyse (Wahrscheinlichkeit, ( Auswirkung Testzyklen und verantwortliche Teams Erweiterte Resourcenplanung durch CARS Prozessmodelle einbinden und adaptieren Prozessphasen planen Zeitliche Planung Meilensteine Ziele...

29 Testaktivitäten ten Design und Implementierung Testfälle können k auch bedingt und parallel ausgeführt werden Testautomatisierung Anbindung verschiedener Werkzeuge In QACenter werden Scripts mit VBA entwickelt

30 Testaktivitäten ten Auswertung Metriken für f r erwartete zu tatsächliche Zeit, benötigte und geschätzte Testausführungszeit, Testfortschritt (in Abhängigkeit zu den Prioritäten), ten), Test Status, Testabdeckung Abdeckung der Anforderungen Bezogen auf Testfälle, lle, durchgeführte hrte Test, oder Testergebnisse Keine Trendanalyse in Bezug auf Vergangenheit und verschiedenen Versionen Export der Testberichte in MS Word, XML, PDF, CSV Fehlermanagementwerkzeug TrackRecord von Compuware

31 improve your quality Allgemein Compuware deckt mit seiner Produktfamilie QACenter alle Testaktivitäten ten ab (Testprozessmanagement nur ( teilweise Zwei Programme zum Testmanagement QACenter Portal (Web-basiert) ( basiert QADirector Schnittstellen Offene Schnittstellen zum Anbinden eigener Werkzeuge Vorhandene Schnittstellen zu anderen Werkzeugen, z.b. Anforderungsmanagemetn Telelogic DOORS, Borland CaliberRM, IBM Rational RequisitePro

32 Tools im TEC

33 Tool-Evaluierung Tools im TEC Borland (SilkCentral, SilkTest) Compuware (QACenter, QADirector, TestPartner, File-AID CS) Mercury (Quality( Center) Polarion IBM Rational (Manual Tester, Functional Tester) Imbus (TestBench) Siemens (SiTEMPO( SiTEMPO) Telelogic (DOORS) Eclipse TPTP Stand Anfang Mai 2007 (die Auswahl wird laufend erweitert) Nuten Sie das TEC - Tool Evaluation Center und sparen Sie sich viel Zeit bei der Auswahl des passenden Tools!

34 Vielen Dank! Software Quality Lab Fliederstraße 8 A-4222 Langenstein / Linz oftware-quality-lab.atlab.at