3 Werkzeuge und Methoden zur Automatisierung des Funktionstests

Transkript

1

2 3 Werkzeuge und Methoden zur Automatisierung des Funktionstests Mit Bezug auf die Problemstellung untersucht dieses Kapitel existierende Werkzeuge für den automatisierten Funktionstest mechatronischer Produkte und stellt verschiedene Methoden der effizienten Testautomatisierung vor. Um die Vielfalt und Heterogenität von Werkzeugen abzugrenzen und somit einen Überblick zu schaffen, wird eine Klassifikation nach unterstützenden Aktivitäten betrachtet. Mit verschiedenen Methoden lassen sich die Testautomatisierung innerhalb eines Testprozesses sowie die Auswahl und Einführung von Werkzeugen beschreiben. Eine einheitliche Grundlage zur Realisierung von Testsystemen für den Funktionstest mechatronischer Produkte existiert jedoch nicht. Inhaltsverzeichnis 3.1 Werkzeuge im Überblick Testmanagementwerkzeuge Testspezifikationswerkzeuge Werkzeuge zur Testausführung Zusammenfassung Verbesserung des Testprozesses Test Process Improvement (TPI) Vorgehen zur Optimierung TPI und Werkzeuge Schlussfolgerung Auswahl und Einführung von Werkzeugen Werkzeugauswahl Werkzeugeinführung Schlussfolgerung Zusammenfassende Bewertung

3 3 Werkzeuge und Methoden zur Automatisierung des Funktionstests Kapitel 2 hat dargelegt, dass die Effizienzsteigerung des automatisierten Funktionstests durch die Realisierung von flexiblen und einheitlichen Testsystemen möglich ist. Dazu sind bereits vorhandene Werkzeuge wiederzuverwenden, ineffiziente Werkzeuge zu ersetzen, und bisher nicht-automatisierte Testaktivitäten und Aufgaben mit Werkzeugen zu automatisieren. Ferner werden Werkzeuge in ein Testsystem integriert. Als Stand der Technik stellt das nachfolgende Kapitel ausgewählte Vorgehensweisen und Studien vor, welche allgemein die Testautomatisierung als Teil der Testprozessverbesserung sowie die Auswahl und Einführung von Werkzeugen betrachten. Anhand der aktivitätsbasierten Klassifikation gibt Abschnitt 3.1 einen Überblick über unterschiedliche Werkzeuge für den automatisierten Funktionstest mechatronischer Produkte. Mit dem Fokus auf die Testautomatisierung stellt Abschnitt 3.2 Methoden zur Verbesserung des Testprozesses vor. Abschnitt 3.3 erarbeitet die Auswahl und Einführung von Werkzeugen, die für die Effizienz und Akzeptanz des automatisierten Testens unabdingbar sind. Schließlich fasst Abschnitt 3.4 die vorgestellten Vorgehen und Methoden zusammen und bewertet deren Tauglichkeit für die dieser Arbeit zugrunde liegende Problemstellung. 3.1 Werkzeuge im Überblick Um einen Überblick über existierende Werkzeuge für den automatisierten Funktionstest mechatronischer Produkte zu schaffen, werden Werkzeuge gemäß bestimmten Unterscheidungskriterien klassifiziert. Laut [SWKomp09] und [KD07] lassen sich Werkzeuge im Wesentlichen hinsichtlich der unterstützten Aktivitäten bzw. Tätigkeiten unterscheiden. Abschnitt nennt die typischen Aktivitäten, die beim automatisierten Funktionstest mechatronischer Produkte mit Werkzeugen unterstützt werden: Testfallerstellung, Testdurchführung, Testauswertung, Testdokumentation und Testadministration. [Spillner05] und [KD07] betrachten hierbei drei Klassen von Werkzeugen: Werkzeuge für Testmanagement, Werkzeuge zur Testspezifikation, sowie Werkzeuge zur Testausführung. Diese sind in Abbildung 3.1 zusammengefasst. 36

4 3.1 Werkzeuge im Überblick Werkzeuge des automatisierten Funktionstests Testmanagementwerkzeuge Testmanagement Testplanung Anforderungsmanagement Abweichungsmanagement Konfigurationsmanagement Fehlermanagement Versionsmanagement Fortschrittskontrolle Testspezifikationswerkzeuge Testgeneratoren Testentwurfswerkzeuge Testeditoren Werkzeuge zur Testausführung Testroboter Testrahmen Komparatoren Testmonitoring Simulatoren Sicherheitsprüfung Abbildung 3.1: Aktivitätsbasierte Klassifikation von Werkzeugen nach [KD07] Testmanagementwerkzeuge Werkzeuge zum Einsatz im Testmanagement helfen primär dem Tester, den Überblick über alle Testfälle zu behalten. Dafür stellen die Werkzeuge verschiedene Mechanismen zur komfortablen Erfassung, Katalogisierung und Verwaltung von Testfällen zur Verfügung. Werkzeuge mit weiterführender Funktionalität unterstützen darüber hinaus anforderungsbasiertes Testen. Dazu bieten sie die Möglichkeit, Produktanforderungen zu erfassen (oder aus entsprechenden Anforderungsmanagement-Werkzeugen zu importieren) und mit denjenigen Tests zu verknüpfen, die die entsprechende Anforderung prüfen. Dadurch können verschiede Konsistenzprüfungen durchgeführt werden, z.b. soll zu jeder Anforderung mindestens ein Testfall eingeplant werden [Spillner05]. Gemäß dem 4-Phase-Plan unterstützen die Testmanagementwerkzeuge typischerweise die Ressourcen- und Zeitplanung des Testens. Außerdem bieten sie die Möglichkeit, den Status der Testfälle zu überwachen, z.b. durch Aufzeichnung und Bewertung der Anzahl von Testfallwiederholungen und der dabei entstandenen Testergebnisse. Dies dient auch zur Fortschrittskontrolle. Eine weitere Aufgabe der Testmanagementwerkzeuge ist die Bearbeitung der Problem- bzw. Fehlermeldungen. Das Fehlermanagement deckt hierbei die Erfassung, Verwaltung, Verteilung und statische Auswertung von Fehlermeldungen ab. Oft sind Fehlermanagement und Testplanung miteinander gekoppelt. So kann z.b. ein Plan für einen Fehlernachtest automatisch erstellt werden. 37

5 3 Werkzeuge und Methoden zur Automatisierung des Funktionstests Weiterhin gehört zu den Testmanagementaufgaben die Versionsverwaltung. Im Rahmen der Versionsverwaltung werden Änderungen erfasst und alle Versionsstände der Testdateien in einem Archiv mit Zeitstempel und Benutzerkennung gesichert. Dabei besteht die Möglichkeit, die Daten von alten Ständen wiederherzustellen, z.b. um Änderungen von Testfällen rückgängig machen zu können. Entlang des gesamten Testprozesses übernehmen Testmanagementwerkzeuge zusätzlich die Verwaltung der Testdokumentation. Die wichtigsten Testdokumente sind dabei der Testplan, die Testspezifikation und der Testbericht einschließlich Testprotokolle und -ergebnisse. Die Struktur und der Inhalt einzelner Testdokumente können sich dabei an [IEEE829] orientieren Testspezifikationswerkzeuge Testspezifikationswerkzeuge unterstützen vor allem die Erstellung von Testfällen. Dazu dienen verschiedene Testgeneratoren und Testeditoren. Testgeneratoren ermöglichen die automatische Ableitung von Eingabewerten mit zugehörigen Sollwerten aus verschiedenen Quellen. Nach [Spillner06] unterscheiden sich Testgeneratoren in Abhängigkeit der eingesetzten Testbasis. Für den hier betrachteten Funktionstest mechatronischer Produkte finden folgende Testgeneratoren Verwendung: datenbankbasierte Testgeneratoren erstellen die Testdaten auf Grundlage von Datenbankschemata oder Datenbankinhalten, spezifikationsbasierte Testgeneratoren leiten Testfälle aus einer formalen Spezifikation ab, modelbasierte Testgeneratoren erzeugen Testskripte aus formalen Modellen, z.b. aus einem UML-Zustandsdiagramm Werkzeuge zur Testausführung Werkzeuge zur Automatisierung der Testdurchführung entlasten den Tester von den zum Testablauf nötigen mechanischen Arbeiten. Die Werkzeuge versorgen das Testobjekt mit Testdaten, zeichnen die Reaktionen des Testobjekts auf und vergleichen diese mit den Sollwerten [Spillner06]. Gleichzeitig protokollieren sie den gesamten Testablauf. Da diese Werkzeuge an Schnittstellen des jeweiligen Testobjekts angeschlossen sind, sind sie stark von den Testobjekt-Anforderungen abhängig, siehe Abschnitt Allgemein lassen sich hierbei folgende Werkzeuge unterscheiden: 38

6 3.1 Werkzeuge im Überblick Testroboter, auch Capture-and-Replay-Tool benannt [KD07], zeichnen alle manuell durchgeführten Bedienschritte (Tastatureingaben, Mausklicks usw.) während des Testens auf und speichern diese als Testfall. Nach dem Prinzip eines Videorekorders können so aufgezeichnete Testfälle beliebig oft automatisch wiederholt werden. Testtreiber, auch als Testbett oder Testrahmen bezeichnet, ermöglicht den Zugriff auf die Testobjektschnittstellen. Simulatoren bilden im Rahmen des Funktionstests die Produktivumgebung nach, falls diese zum Testzeitpunkt nicht verfügbar oder nicht vorhanden ist. Komparatoren analysieren erwartete und aktuelle Ergebnisse bei der Testdurchführung (Ist-/Soll-Vergleich) und sind meist Teil anderer Werkzeuge Zusammenfassung Es existieren verschiedene Ressourcen, wie z.b. [IRST09], [OST09] oder [ApTest09], die einen guten Überblick existierender Softwarewerkzeuge anbieten und gleichzeitig deren Vielfalt und Heterogenität bestätigen. Einige dieser Werkzeuge, insbesondere aus den Klassen Testmanagement und Testspezifikation, sind domänenübergreifend und können daher auch für die Automatisierung des Funktionstests mechatronischer Produkte verwendet werden. Werkzeuge zur Testausführung sind im Gegenteil meistens anwendungsfallspezifisch. Eine Auflistung von mechatronischen Werkzeugen, die auch die Aufgaben aus der Werkzeugklasse Testausführung erledigen können, bietet [MSB09]. Trotz vorhandener Klassifikation stehen je nach Anwendungsfall für verschiedene Aufgaben bzw. Aktivitäten mehrere Werkzeuge zur Auswahl. Dabei ist es äußerst schwierig, die Funktionalität von Werkzeugen den produktund herstellerspezifischen Anforderungen des Funktionstests gegenüberzustellen und aus dieser Vielfalt ein möglichst passendes Werkzeug auszuwählen. Existierende Ansätze zur Auswahl und Einführung von Testwerkzeugen werden in Abschnitt 3.3 vorgestellt. Zunächst erarbeitet Abschnitt 3.2 einige wichtige Aspekte bezüglich der Testautomatisierung und Verbesserung des Testprozesses. 39

7 3 Werkzeuge und Methoden zur Automatisierung des Funktionstests 3.2 Verbesserung des Testprozesses Testing Maturity Model (TMM) und Test Process Improvement (TPI 10 ) sind zwei etablierte Bewertungsmodelle, die sich speziell auf die Verbesserung des Testprozesses beziehen [Spillner06]. Diese Modelle verfolgen den Ansatz, dass ein unreifer Testprozess durch die Einführung eines Softwarewerkzeugs nicht reifer wird, denn es gilt: a fool with a tool is still a fool (Grady Booch). Ein wohldefinierter Testprozess kann wogegen durch geeignete Werkzeuge gestützt und effizient umgesetzt werden [ix06]. TMM und TPI sind gut geeignet, den Testprozess kritisch zu analysieren um konkrete Hinweise auf Verbesserungsmaßnahmen zu geben. Dabei definiert TMM in Anlehnung an CMMI 11 fünf Reifegradstufen. TPI stellt keinen Standard in den Vordergrund und betrachtet zwanzig verschiedene Kernbereiche zur Bewertung des Testprozesses, die aus der vorhandenen Erfahrung der Firma Sogeti entstanden sind [Spillner06]. Abbildung 3.2 verdeutlicht die Hauptelemente des TPI-Modells. TPI-Matrix Kernbereiche Ebenen Kontrollpunkte Optimierungsvorschläge Abbildung 3.2: Hauptelemente des TPI-Modells nach [Spillner06] Test Process Improvement (TPI) In der Praxis hat sich vor allem TPI durchgesetzt, da das Modell im Gegensatz zum abstrakten CMMI und SPICE 12 sehr pragmatische und praktikable Kon- 10 TPI ist ein eingetragenes Warenzeichen der Firma Sogeti Nederland B.V., Niederlande. 11 CMMI: Capability Maturity Model Integration. 12 SPICE: Software Process Improvement and Capability Determination [ISO15504]. 40

8 3.2 Verbesserung des Testprozesses trollpunkte und Verbesserungsvorschläge nennt [ix06]. Zwanzig Kernbereiche in TPI sind Teilbereiche des Testens, die mit der Durchführung bestimmter Aktivitäten des Testprozesses verbunden sind. Beispielsweise umfasst ein Kernbereich die Anwendung von Werkzeugen im Testprozess. Andere Kernbereiche sind Testumgebung, Testarbeitsplatz, Berichterstattung, Abweichungsmanagement, Testprozessmanagement, Engagement und Motivation usw. Für jeden dieser Kernbereiche findet eine Einstufung auf bestimmten Ebenen statt, die mit Buchstaben A, B, C, D bezeichnet werden. Hierbei bedeutet A die niedrigste und D die höchste Ebene. Die Ebenen sind dabei so definiert, dass Verbesserungen von einer niedrigeren auf eine höhere Ebene einen messbaren positiven Einfluss auf die für das Testen erforderliche Zeit, das benötigte Budget oder die resultierende Qualität haben. Jede Ebene ist durch mehrere Kontrollpunkte definiert. Diese Kontrollpunkte müssen erfüllt sein, damit ein Kernbereich auf dieser Ebene eingestuft werden kann. Alle Kernbereiche und Ebenen sind in der TPI-Matrix miteinander verknüpft, um die Prioritäten und Abhängigkeiten zwischen den Kernbereichen und Ebenen darstellen zu können, siehe Abbildung 3.3. Objektivität und Nachvollziehbarkeit der Bewertung sind dadurch gewährleistet [Sogeti09]. Nr. Kernbereich Stufe Teststrategie A B C D 2 Einsatz des Phasenmodells A B 3 Zeitpunkt der Beteiligung A B C D 4 Kostenvoranschlag und Planung A B 5 Testspezifikationstechniken A B 6 statische Testtechniken A B 7 Metriken A B C D 8 Testwerkzeuge A B C 9 Testumgebung A B C 10 Testarbeitsplatz A 11 Engagement und Motivation A B C 12 Testfunktion und Ausbildung A B C 13 Reichweite der Methodik A B C 14 Kommunikation A B C 15 Berichterstattung A B C D 16 Abweichungsmanagement A B C 17 Testware-Management A B C D 18 Testprozessmanagement A B C 19 Prüfen A B 20 Low-Level-Tests A B C beherrschbar effizient optimierend Abbildung 3.3: TPI-Matrix nach [Sogeti09] 41

9 3 Werkzeuge und Methoden zur Automatisierung des Funktionstests In der TPI-Matrix werden verschiedene Ebenen der Kernbereiche jeweils einer von insgesamt 13 Entwicklungsstufen zugeordnet. Die Stufen 1 bis 5 haben den Fokus, den Testprozess kontrolliert ablaufen zu lassen. Die Ebenen der Stufen 6 bis 10 sind mehr auf die Effizienz des Testprozesses ausgerichtet. Die Effizienz wird beispielsweise durch Automatisierung des Testprozesses, durch bessere Abstimmung und Integration innerhalb der Produktentwicklung sowie durch Verankerung der Arbeitsweise des Testprozesses innerhalb des Unternehmens erreicht. Die Stufen 11 bis 13 sind durch immer umfangreichere Optimierung des Testprozesses gekennzeichnet. Ähnlich zu SPICE gibt es bei TPI domänenspezifische Anpassungen. TPI Automotive hat beispielsweise 21 Kernbereiche mit einer inhaltlichen Ausrichtung auf die Automobilindustrie. Die Modellanpassungen sind überall dort gut anwendbar, wo eine intensive Zusammenarbeit zwischen verschiedenen Zulieferern und dem Kunden als Integrator besteht [Spillner06] Vorgehen zur Optimierung Das Vorgehen zur Optimierung des Testprozesses ist in Abbildung 3.4 dargestellt. Schaffung des Bewusstseins Bestimmung von Ziele, Betrachtungsbereich und Vorgehensweise Ausführung des Assessments Durchführung der Bewertung Definition der Optimierungsmaßnahmen Implementierung von Optimierungsmaßnahmen Aufstellen des Plans Abbildung 3.4: Verbesserungsprozess nach [imbus06] 42

10 3.2 Verbesserung des Testprozesses Zur Verbesserung des Testprozesses ist gemäß TPI ein kontinuierliches Assessment über alle Kernbereiche notwendig. Zunächst wird die Notwendigkeit einer Veränderung ermittelt und ein entsprechendes Bewusstsein bei allen Beteiligten geschafft. Es folgt die Festlegung der Ziele und der dazu passenden Vorgehensweise. Durch ein TPI-Assessment wird die derzeitige Situation mit Eingaben über die Stärken und Schwächen des Testprozesses bestimmt. Die Bewertungen der einzelnen Kernbereiche basieren hierbei auf Befragungen von Beteiligten und Beurteilung von Dokumenten. Die Ergebnisse des Assessments fasst eine TPI-Matrix zusammen. Sie bietet einen Überblick über den Testprozess bei Unternehmen und hilft bei der Auswahl verbesserungswürdigen Kernbereiche. Der nächste Punkt ist die Definition der Optimierungsmaßnahmen. Diese werden so bestimmt, dass eine sukzessive Verbesserung möglich ist. Eine Planung legt die Schritte zur Verbesserung fest und unterstützt somit die Realisierung von Maßnahmen. Nach der Umsetzung schließt die Bewertung einen Verbesserungszyklus. Hierbei ist festzustellen, in wie weit die Maßnahmen erfolgreich waren bzw. in welchem Umfang die ursprünglichen Ziele erreicht wurden. Aufgrund dessen erfolgt die Entscheidung über die Fortsetzung bzw. Anpassung des Verbesserungsprozesses. Falls das angestrebte Gesamtziel erreicht ist, ist die Optimierung als abgeschlossen anzusehen TPI und Werkzeuge Kernbereich 8 des TPI-Modells behandelt explizit das Thema Testwerkzeuge, die sich hauptsächlich mit der Verwaltung und Ausführung des Tests beschäftigen. Darüber hinaus können weitere Bereiche, wie z.b. Teststrategie (Kernbereich 1), Phasenmodell (Kernbereich 2) und Berichterstattung (Kernbereich 15), automatisiert werden. Für den Kernbereich Testwerkzeuge definiert TPI eine Reihenfolge zur Werkzeugeinführung. Hierbei fokussiert das Modell nicht nur auf die Testautomatisierung des Funktionstests, sonder vielmehr auf die werkzeuggestützte Optimierung des gesamten Testprozesses entlang der Produktentwicklung. Dementsprechend sind zur Erreichung einer Ebene neben Werkzeugen für den automatisierten Funktionstest (siehe Abschnitt 3.1) auch verschiedene Analysewerkzeuge erforderlich. Nach [Koomen99] sind drei Ebenen zu unterscheiden: Ebene A Anwendung von Werkzeugen zur Testplanung und Testmanagement, u.a. Anwendung von Werkzeugen zur Fehlerverwaltung, z.b. Bugzilla, sowie für Abweichungs- und Konfigurationsmanagement; 43

11 3 Werkzeuge und Methoden zur Automatisierung des Funktionstests Ebene B Anwendung von Werkzeugen zur Testausführung und Analyse, z.b. Werkzeuge zur Messung der Testüberdeckung; Ebene C Anwendung von integrierten Testsystemen mit einer einheitlichen Bedienung mit dem Ziel die Automatisierung des Testprozesses unternehmensweit zu betreiben. Neben der Reihenfolge gibt die TPI-Matrix Mindestvoraussetzungen für die Einführung eines Werkzeugs an: alle Kernbereiche der jeweils niedrigeren Entwicklungsstufen sollen ausgereift sein. Wenn für den Kernbereich Testwerkzeuge die angestrebte Ebene A der Entwicklungsstufe 3 entspricht, dann sollten zuvor andere Kernbereiche entsprechende Ebenen bis zur Stufe 3 erreicht haben, siehe Abbildung 3.5. Nr. Kernbereich Stufe Teststrategie A B C D 2 Einsatz des Phasenmodells A B 3 Zeitpunkt der Beteiligung A B C D 4 Kostenvoranschlag und Planung A B 5 Testspezifikationstechniken A B 6 statische Testtechniken A B 7 Metriken A B C D 8 Testwerkzeuge A B C 9 Testumgebung A B C 10 Testarbeitsplatz A 11 Engagement und Motivation A B C 12 Testfunktion und Ausbildung A B C 13 Reichweite der Methodik A B C 14 Kommunikation A B C 15 Berichterstattung A B C D 16 Abweichungsmanagement A B C 17 Testware-Management A B C D 18 Testprozessmanagement A B C 19 Prüfen A B 20 Low-Level-Tests A B C beherrschbar effizient optimierend Abbildung 3.5: Voraussetzungen zur Werkzeugeinführung Unter anderem setzt die Werkzeugeinführung voraus, dass die dazu passenden formalen Testspezifikationstechniken eingeführt sind (Kernbereich 5), das 44

12 3.3 Auswahl und Einführung von Werkzeugen Testteam mit Werkzeugen vertraut gemacht wird und ein Testmanager definiert wird (Kernbereich 12), der die Testprozessverwaltung übernimmt (Kernbereich 18) und für die Administration der Testware 13 sorgt (Kernbereich 17) Schlussfolgerung Das TPI-Modell bietet eine gute Grundlage, den Testprozess zu bewerten und zu optimieren. Unter Berücksichtigung der Testprozessreife definiert das Modell eine Reihenfolge zur Einführung von Werkzeugen und bestätigt die Bestrebung, möglichst aufgabenübergreifende einheitliche Testsysteme unternehmensweit zu verwenden. Diese gilt auch für die Testautomatisierung des Funktionstests mechatronischer Produkte. Zur Anwendung des Modells in einem Unternehmensumfeld setzt TPI ein kontinuierliches Assessment voraus. Damit können konkrete Verbesserungsvorschläge zur Optimierung des Testprozesses aber auch der Werkzeuganwendung ausgearbeitet werden. Dabei nennt das Modell lediglich verschiedene Werkzeugtypen, die im Testprozess eingesetzt werden müssen, um bestimmte Ebene zu erreichen. TPI beschreibt jedoch keine Methode zur Auswahl und Einführung von Werkzeugen und bietet keine Grundlage zur Integration von Werkzeugen im Zuge der Realisierung von flexiblen und einheitlichen Testsystemen an. 3.3 Auswahl und Einführung von Werkzeugen Für die effiziente Testautomatisierung spielt das Thema Auswahl und Einführung von Werkzeugen eine wichtige Rolle. Abschnitt 3.1 bestätigt die Heterogenität und Vielfalt existierender Werkzeuge für den automatisierten Funktionstest mechatronischer Produkte. Dabei bieten Werkzeuge verschiedene Funktionalitäten an und realisieren diese in unterschiedliche Art und Weise. Weiterhin ist die Werkzeugeinführung mit hohen Kosten verbunden. Neben den Anschaffungskosten fallen für Werkzeuge diverse Folgekosten an, wie z.b. Schullungen, Personal, Administration, Wartung usw. Dementsprechend sollen Hersteller mechatronischer Produkte vor der eigentlichen Einführung 13 Aus [ISTQB09]: Testware, auch Testmittel genannt, sind alle Artefakte, die während des Testprozesses erstellt werden und die erforderlich sind, um die Tests zu planen, zu entwerfen oder auszuführen. Dazu gehören: Dokumente, Skripte, Eingabedaten, erwartete Ergebnisse, Vorgehensweisen, [ ] Datenbanken, Umgebungen und weiteren zusätzlichen Software- und Dienstprogramme, die für das Testen verwenden werden. 45

13 3 Werkzeuge und Methoden zur Automatisierung des Funktionstests besonders auf die Auswahl von Werkzeugen achten. Dafür stellt der folgende Abschnitt zunächst den Auswahlprozess dar. Ein wichtiger Aspekt ist dabei die Evaluierung von Werkzeugen. Folglich erarbeitet der Abschnitt das Thema Werkzeugeinführung. Die Erkenntnisse aus der Auswahl und Einführung von Werkzeugen mit Hinblick auf die Problemstellung der vorliegenden Arbeit fließen schließlich in die Zusammenfassung mit ein Werkzeugauswahl Für die Werkzeugauswahl kann ein Vorgehen aus [ix06] verwendet werden, siehe Abbildung 3.6. Ergebnisse Aktivitäten Phasen Initialisierung Zieldefinition Was soll durch den Werkzeugeinsatz erreicht werden? Quantifizierung der Ziele Projektplanung Zeitplanung Projektplan, Quantifizierte Zeile Identifikation der Anforderungen Erste Anforderungen identifizieren: Funktionale Nicht-funktionale Kaufmännische Kosten/Nutzen Analyse K.O.-Kriterien identifizieren Überprüfung der Evaluierungsergebnisse Anforderungsliste, K.O.-Kriterien Marktanalyse Vorselektion Marktübersicht, Vorselektion der zu evaluierenden Kandidaten Stand der Technik Vorselektion Ausschluss der Werkzeuge bei der Nichterfüllung der K.O.-Kriterien Vorselektierte Werkzeugliste Anforderungsanalyse Anforderungsverfeinerung Verfeinerung der Anforderungen und Auswahl der Finalisten Involvieren der betroffenen Anwender Ergänzung durch Anforderungen nach der Marktanalyse Gewichtung der Anforderungen Auswahl der Finalisten Evaluierung Evaluierung der Kandidaten Vorbereitung des Evaluierungsprozesses Ressourcenplanung Organisationsspezifische Anforderungsverfeinerung Herstellerpräsentation Präsentation und Auswertung zeitnah Detailevaluierung Durchführung typischer Anwendungsszenarien Anwenderevaluation Wie gut werden die definierten Anforderungen erfüllt? Detaillierte, priorisierte Anforderungsund Werkzeugliste Evaluierungsbericht Review Auswahl Review der Ergebnisse und Werkzeugauswahl Review Werkzeugauswahl Auswahl eines Werkezugs, welches die eingangs definierten Anforderungen am besten erfüllt Empfehlung für ein Werkzeug Einführung Abbildung 3.6: Auswahlprozess eines Werkzeugs nach [ix06] Der Auswahlprozess sieht vor, eine vielfältige Werkzeugmenge schrittweise zu reduzieren, bis schließlich ein passendes Werkzeug ausgewählt werden kann. Dabei baut der Prozess auf den folgenden Phasen auf: Initialisierung (Zeit- und Ressourcenplanung), Anforderungsanalyse notwendiger Werkzeugfunktionalität, 46

14 3.3 Auswahl und Einführung von Werkzeugen Marktanalyse und Vorselektion der zu evaluierenden Kandidaten, Verfeinerung der Anforderungen und Auswahl der Finalisten, Evaluierung der Kandidaten, sowie Review der Ergebnisse und Werkzeugauswahl. Initialisierung Die Initialisierungsphase beschäftigt sich vor allem mit der Zielsetzung, was durch die Werkzeuganwendung erreicht werden soll. Beispielsweise soll ein neues Werkzeug die Fehlerfindungsrate oder den Automatisierungsgrad erhöhen bzw. unternehmensweit einheitlich sein. Die Ziele dienen später zur Bewertung des gewählten Werkzeugs und sollen dementsprechend quantifiziert werden. So kann z.b. die Anzahl automatisierter Testfälle den Automatisierungsgrad, die Anzahl gefundener Fehler pro Stunde die Fehlerfindungsrate, bzw. die Anzahl der Werkzeuginstallationen und -anwendungen den Werkzeugeinsatz innerhalb eines Unternehmens repräsentieren. Für die Zielerreichung hilft eine Planung, die Randbedingungen (u.a. Zeit und Ressourcen) festzulegen und den Auswahlprozess zu steuern. Anforderungsanalyse Die Phase Anforderungsanalyse legt erste Anforderungen an das gewünschte Werkzeug fest. Dabei ist die Vollständigkeit der Anforderungen nicht unbedingt erforderlich. Vielmehr sollen unverzichtbare Anforderungen, auch K.O.- Kriterien genannt, identifiziert werden. Dazu schlägt [ix06] vor, die Anforderungen in vier Kategorien zu unterscheiden: Funktionale Anforderungen legen fest, welche Aktivitäten das Werkzeug unterstützen soll. Nicht-funktionale Anforderungen legen fest, wie bzw. auf welche Weise das Werkzeug die funktionalen Anforderungen erfüllt. Wirtschaftliche Anforderungen umfassen vor allem finanzielle Einschränkungen. Hierbei sollen nicht nur Anschaffungs-, sondern auch Folgekosten der Werkzeugeinführung berücksichtigt werden. Organisationsspezifische Anforderungen sind hersteller- und domänenspezifisch. Ein Werkzeug muss alle K.O.-Kriterien erfüllen, um zur weiteren Evaluierung aufgenommen zu werden. 47

15 3 Werkzeuge und Methoden zur Automatisierung des Funktionstests Marktanalyse und Vorselektion Die Marktanalyse ermöglicht, eine Übersicht existierender Werkzeuge in Sinne Stand der Technik zu bekommen. Typischerweise sind dafür verschiedene Studien, wie z.b. [ATTEST08], [ix06] und [SQLab09], oder auch Internetrecherchen ganz hilfreich. Bei der Betrachtung ausgesuchter Werkzeuge fokussieren sich die Studien auf bestimmte Fragen, z.b.: Welche Geschäftsprozesse sollen unterstützt werden? Welche Anforderungen muss das Werkzeug dafür erfüllen? Seit wann ist das Werkzeug am Markt? Welche Schnittstellen hat die angebotene Software? Welche Funktionalität (mit einer ausführlichen Auflistung) unterstützt das Werkzeug? Inwieweit ist das Werkzeug kompatibel zu anderen Systemen? Wie hoch sind die Lizenz- und Wartungskosten? u.v.m. Somit bieten die Studien nicht nur einen Werkzeugüberblick an, sondern können als eine umfangreiche Grundlange für die Anforderungsverfeinerung dienen. Nach der Marktanalyse wird aus der ausgesuchten Werkzeugmenge in Anlehnung an K.O.-Kriterien eine Vorselektion durchgeführt, um nichtpassende Werkzeug herauszufiltern. Verfeinerung der Anforderungen Die nächste Phase des Auswahlprozesses ist die Anforderungsverfeinerung. Wie bereits erwähnt, erfolgt hierbei die Ergänzung der K.O.-Kriterien in Anlehnung an die Erkenntnisse der Marktanalyse. Dazu sollen vor allem die späteren Anwender involviert werden, um mögliche Akzeptanzprobleme zu vermeiden. Eine besondere Bedeutung spielt dabei die Gewichtung von Anforderungen. Mit Hilfe der gewichteten Anforderungsliste können die nach der Phase 3 ausgewählten Werkzeug-Kandidaten bewertet werden. Aufgrund des hohen Zeitaufwands für eine detaillierte Evaluierung in der nächsten Phase sollte gemäß [ix06] durch die Bewertung die Anzahl der Kandidaten auf maximal drei Werkzeuge reduziert werden. Evaluierung Die Evaluierungsphase hat zum Ziel, die Erfüllung der definierten Anforderungen von den einzelnen Finalisten zu untersuchen. Um die Evaluierung 48

16 3.3 Auswahl und Einführung von Werkzeugen zu erleichtern, können dazu die Werkzeuganbieter eingeladen werden, um eine Vorführung des Werkzeuges durchzuführen. Falls Präsentationen mehrerer Anbieter erforderlich sind, sollten diese zeitnah erfolgen und ausgewertet werden [ix06]. Abbildung 3.7 zeigt wesentliche Aspekte, die im Rahmen der Werkzeugevaluierung berücksichtigt werden müssen. Unternehmenskultur Methoden Projekte Prozesse Werkzeug Kosten/Nutzen Integration, Schnittstellen Anforderungen Anwender Abbildung 3.7: Aspekte der Werkzeugevaluierung nach [SQLab09] Review und Auswahl Die Phase Review und Auswahl überprüft die Ergebnisse der Evaluierung und gibt eine Empfehlung für die Einführung eines Werkzeuges ab. Das Werkzeug soll dabei alle eingangs definierten Ziele erfüllen Werkzeugeinführung Ist die Wahl getroffen, besteht die Aufgabe, das Werkzeug in das Unternehmen einzuführen und richtig anzuwenden. Denn sind die Evaluierung und Erwerb des Werkzeugs mit großem Aufwand verbunden, ist es umso wichtiger, dass dieses auch eine breite Akzeptanz findet und zweckmäßig eingesetzt wird. Hierzu wird typischerweise zunächst ein Pilotprojekt durchgeführt, um tatsächliche Kosten und Nutzen des Werkzeugs unter realen Bedingungen zu überprüfen. Die Erfahrungen aus dem Pilotprojekt helfen außerdem, Stärken und Schwächen des Werkzeugs festzuhalten, den Testprozess an die Werkzeuganwendung anzupassen und den Schulungsbedarf zu ermitteln. Da die Benutzung jedes neuen Werkzeugs immer einen anfänglichen Mehraufwand 49